ScreenAgentOdprtokodna VLM agent za upravljanje računalniškega GUI-ja prek planiranja in izvajanja miške ter tipkovnice.

4.4 (5)

Pregledal Daniel Nikulshyn·Posodobljeno julij 2026

Open Source VLM Agent GUI Automation Computer Use Research Mouse & Keyboard Multimodal Desktop

Pregled

ScreenAgent je odprtokodni vizualni jezikovni model (VLM) agent, zasnovan za nadzor računalniških GUI preko miške in tipkovnice. Omogoča interakcijo z dejanskimi računalniškimi zasloni z opazovanjem posnetkov zaslona in izvajanjem dejanj. Projekt vključuje proces načrtovanja – izvajanja – refleksije, ki vodi agenta pri zaključevanju večkoraknih opravil. Bil je ustvarjen z namenom reševanja izziva učenja agentov, kako uporabljati računalnike, kar zahteva sposobnosti, kot so načrtovanje nalog, razumevanje slik in vizualno pozicioniranje. Podatkovni set ScreenAgent, ki zajema različne vsakodnevne računalniške naloge, je bil ročno označen, da podpre učenje agenta. Projekt se sestavlja iz klijenta za nadzor namizja, podatkovnega seta, delavcev modela za inferenco in izobraževalne kode. Podpira osnovne operacije miške in tipkovnice ter ga je mogoče uporabiti na različnih namiznih operacijskih sistemih in aplikacijah. Pristop ScreenAgent je univerzalni in ne temelji na specifičnih API-jih, kar ga naredi vsestranski.

Ključne funkcije

Izvedba operacij miške in tipkovnice
Proces načrtovanja‑izvajanja‑refleksije za zaključek nalog
Podpora za različne namizne operacijske sisteme in aplikacije
Ročna anotacija podatkovnega seta ScreenAgent za raznoliko pokritost nalog
VLM agent za interakcijo z GUI-jem

Cene

Model: Freemium
Kategorija: Okvirji za razvijanje umetniške inteligence
Ocena: 4.4 / 5 (5)

Primeri uporabe

Avtomatiziraj ponavljajoče se namizne delovne tokove

Uporabi VLM agent za načrtovanje in izvedbo dejanj miške ter tipkovnice prek GUI aplikacij, pri čemer obravnavaš rutinske večkorakovne naloge brez pisanja vsake interakcije.

Raziskave o vizualno-jezikovnih agentih

Izkoristi odprtokodno osnovo kode za študijo, primerjanje in razširjanje agentov vizualno-jezikovnih modelov, ki zaznavajo zaslone in upravljajo računalnike.

Izvajanje nalog med različnimi aplikacijami

Usmerjaj agent, da načrtuje in izvede naloge, ki se raztezajo čez več GUI programov, navigira po oknih in kontrolah preko razumevanja zaslona.

Dostopnost in asistivni nadzor

Omogoči nadzor GUI-ja računalnika z naravnim jezikom, ki pomaga uporabnikom izvesti dejanja preko agenta, ki razume zaslon in deluje v njihovem imenu.

Prednosti in slabosti

Prednosti

Univerzalna uporabnost na različnih namiznih operacijskih sistemih in aplikacijah
Možnost izvajanja zapletenih nalog preko procesa načrtovanja‑izvajanja‑refleksije
Podpira osnovne operacije miške in tipkovnice za interakcijo z GUI-jem
Ročna anotacija podatkovnega seta za celovito pokritost nalog

Slabosti

Zahteva VNC strežnik ali podobno nastavitev za povezavo na oddaljeno namizje
Zahtevane sposobnosti načrtovanja zapletenih nalog in razumevanja slik
Odvisen od kakovosti in pokritosti podatkovnega seta ScreenAgent

Ocene

4.4

Povprečje iz 5 ocen.

Prijavi se za oddajo ocene.

Margaret Whitfield

Apr 23, 2026

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on the integrations, and it saves real time caught me off guard. The docs could be deeper is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Camille Laurent

Mar 7, 2026

Does the job

Pretty happy overall. The automation just works and the value for money is strong. A few rough edges remain can be annoying, but no dealbreakers — I'd recommend it to a friend without hesitating.

Diego Fernández

Jan 23, 2026

Years in this space

I've evaluated a lot of these over the years. What stands out here is the core workflow — handled better than most — and support is responsive. Pricing gets steep at scale is my one real gripe. Worth the time if this is your use case.

Wei Chen

Jan 10, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: the automation and it is genuinely easy to set up. Where it lags: pricing gets steep at scale. On balance the feature set — especially the onboarding — justifies the 4 stars for our use case.

Rina Desai

Jul 29, 2025

Use it every day

Honestly didn't expect to like it this much. The integrations is exactly what I needed, and the value for money is strong. but I reach for it almost every day now and it just clicks.

Vprašanja

What are typical use cases for ScreenAgent?

It is suited to GUI automation tasks where an agent needs to perceive the screen and act via mouse/keyboard—such as automating desktop workflows, testing applications, or building research prototypes for computer-use agents.

Asked by Diego Fernández · Oct 12, 2025

How much does ScreenAgent cost?

ScreenAgent is open-source, so the software itself is freely available. You may still incur costs for the underlying VLM (if using a paid model) and the hardware required to run it.

Asked by Kwame Mensah · Oct 3, 2025

What is ScreenAgent and what can it do?

ScreenAgent is an open-source Visual Language Model (VLM) agent that controls computer GUIs. It plans and executes mouse and keyboard actions to automate on-screen tasks across desktop applications.

Asked by Sanjay Gupta · Sep 28, 2025