ScreenAgentOtrovni VLM agen je otvoren izvornik koji koristi pokretanje miša/tastature za kontrolu računalnog grafičkog korisničkog sučelja.

4.4 (5)

Recenzirao Daniel Nikulshyn·Ažurirano srpanj 2026.

Open Source VLM Agent GUI Automation Computer Use Research Mouse & Keyboard Multimodal Desktop

Pregled

ScreenAgent je otvoren izvor Visual Language Model (VLM) agent koji služi za kontrolu računalne grafičke korisničke ploče pomoću miške i tipkovnice operacija. On omogućava interakciju s stvarnim računalnim ekranima prikazivanjem snimaka ekrana i izvršavanjem akcija. Projekt uključuje planiranje-izvršenje-ocjena proces koji vodi agenta da izvrši višekroga zadatake. Projekt je stvoren kako bi riješio izazov u učenju agentima korištenja računala, za koji su potrebne kapacitete kao što su planiranje zadataka, razumijevanje slika i vizualna poziciranja. Prikaz ScreenAgent-a, koji obuhvaća raznovrsne dnevnike računala, je ručno označavan kako bi podržao učenje agenta. Projekt sadrži klijenta za kontrolu desktopa, podatke koji su za podršku u učenju, radnike koji su za infereciju, te kod koji služi za trening. On podržava osnovno miško i tipkovničko upravljanje i može se primjenjivati na različita desktop operativna sistem i aplikacije. ScreenAgentova je približba univerzalna i ne zavisi od specifičnih API-ja što čini ga vjerodostojnim.

Ključne značajke

Pokretanje miša i tastature
Planiranje-izvršenje-refleksija proces za završetak zadataka
Podrška različitim sustavima računala odgovornim za radni stol i aplikacijama
Mehanički označavanje podataka za ScreenAgent za raznovrsnu pokrivenost zadatka
Agenca VLM za interakciju grafičkog korisničkog sučelja

Cijene

Model: Freemium
Kategorija: Okvir za razvoj agenata inteligentnog učenja
Ocjena: 4.4 / 5 (5)

Slučajevi uporabe

Automatizacija ponovljivih workflow-ova rada na radnom stolu

Korištenje agencije VLM za planiranje i izvršavanje miša i tastature unutar aplikacija za radni stol prihvaća rutinske višestepne zadaća bez skenja interakcija.

Istraživanje agencijskih modula za vizualni jezik

Potrošite otvoreni izvornik da istražujete, uspoređujete načela i proširite modeli jezika koji shvaćaju i operiraju ekranom.

Iskustvo izvršenja zadataka na više grafičkih aplikacija

Režirajte Agenca za planiranje i izvršavanje zadataka koji obuhvaćaju različite grafičke sustave

Dostupnost i kontrola podrška

Požuri prirodno jezikom upravljajte ekranom računala, pomažući korisnicima obaviti radne akcije preko agencije koji razumije ekran i izvršava njihove akcije na njihovo ime.

Prednosti i nedostaci

Prednosti

Oblast uporabe širi široki raspon različitih sustava odgovornih za radni stol i aplikacija
Spособnost da obavljaju složenije zadatke putem procesa planiranja-izvršenja-refleksija
Podrška temeljnim operacijama miša i tastature za interakciju sa grafičkim korisničkim sučeljem
Mehanički označavanje podataka za detaljnu pokrivenost zadatka

Nedostaci

Požaduje VNC server ili sličnu sklop za daljinski priključak rada stola
Složeni planiranje zadataka i mogućnosti razumijevanja slike potrebno je potvrditi
Agenca ovisi kako je kvalitet i obuhvatni zakrivnost područja ScreenAgent

Recenzije

4.4

Prosjek iz 5 ocjena.

Prijavi se za ostavljanje recenzije.

Margaret Whitfield

Apr 23, 2026

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on the integrations, and it saves real time caught me off guard. The docs could be deeper is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Camille Laurent

Mar 7, 2026

Does the job

Pretty happy overall. The automation just works and the value for money is strong. A few rough edges remain can be annoying, but no dealbreakers — I'd recommend it to a friend without hesitating.

Diego Fernández

Jan 23, 2026

Years in this space

I've evaluated a lot of these over the years. What stands out here is the core workflow — handled better than most — and support is responsive. Pricing gets steep at scale is my one real gripe. Worth the time if this is your use case.

Wei Chen

Jan 10, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: the automation and it is genuinely easy to set up. Where it lags: pricing gets steep at scale. On balance the feature set — especially the onboarding — justifies the 4 stars for our use case.

Rina Desai

Jul 29, 2025

Use it every day

Honestly didn't expect to like it this much. The integrations is exactly what I needed, and the value for money is strong. but I reach for it almost every day now and it just clicks.

Pitanja

What are typical use cases for ScreenAgent?

It is suited to GUI automation tasks where an agent needs to perceive the screen and act via mouse/keyboard—such as automating desktop workflows, testing applications, or building research prototypes for computer-use agents.

Asked by Diego Fernández · Oct 12, 2025

How much does ScreenAgent cost?

ScreenAgent is open-source, so the software itself is freely available. You may still incur costs for the underlying VLM (if using a paid model) and the hardware required to run it.

Asked by Kwame Mensah · Oct 3, 2025

What is ScreenAgent and what can it do?

ScreenAgent is an open-source Visual Language Model (VLM) agent that controls computer GUIs. It plans and executes mouse and keyboard actions to automate on-screen tasks across desktop applications.

Asked by Sanjay Gupta · Sep 28, 2025