ScreenAgentОтворен код VLM агент за управление на компютърния GUI чрез планиране и изпълнение на мишка/клавиатура.

4.4 (5)

Прегледано от Daniel Nikulshyn·Актуализирано юли 2026 г.

Open Source VLM Agent GUI Automation Computer Use Research Mouse & Keyboard Multimodal Desktop

Преглед

СкринЕджънт е отворен кодов Visual Language Model (VLM) агент, проектиран да контролира компютърните GUI чрез операции на мишка и клавиатура. Намиращ е взаимодействие с реални компютърни екрани чрез наблюдение на скриншоти и изпълнение на действия. Проектът се състои от процес на планиране-изпълнение-анализ, който ръководи агента да завърши многостепенни задачи. Предназначен е да адресира задачата за ученето на агенти да използват компютри, което изисква способности като планиране на задачи, разбиране на изображения и визуално позициониране. Датасетът на СкринЕджънт, който покрива различни дневни компютърни задачи, е ръчно анотиран за поддръжка на ученето на агента. Проектът се състои от клиент за контролиране на десктопа, със съответния датасет, модулите за извличане на данни за инферира, и код за обучение. Поддържа базовите операции на мишка и клавиатура и може да се приложи към различните операционни системи и приложения за десктоп. Подходът на СкринЕджънт е универсален и не съществуващо в зависимост от конкретни API, което го прави многофункционален.

Ключови функции

Изпълнение на мишка и клавиатура операции
Планиране-изпълнение-отразяване процес за завършване на задача
Поддръжка за различни десктоп операционни системи и приложения
Ръчна анотация на набора от данни ScreenAgent за разнообразна покритост на задачи
VLM агент за взаимодействие с GUI

Цени

Модел: Freemium
Категория: Фреймове за Създаване на AI Агенти
Оценка: 4.4 / 5 (5)

Случаи на употреба

Автоматизиране на репетитивни десктопни потоци работи

Използвайте VLM агента да планирате и изпълнявате действия на мишка и клавиатура през GUI приложения, намиращи се на рутинната многустепенно задача без програмиране на всяко взаимодействие.

Изследвания в областта на визуалните езици за агенти

Използвайте отворената код база за изследвания, бъмбинг и разширение на моделите с визуален език, които приемат екраните и управляват компютъра.

Изпълнение на задачи между приложенията

Directirете агента да планирати и изпълнят задачи, които пресичат повече от едно GUI програма, навигиращи прозорци и контроли чрез разбирането на екрана.

Аксесбилизация и помагане при контрола

Включете естествен език дървена контрола на GUI на компютъра, помагайки на потребителите да изпълняват действия чрез агент, който интерпретира екрана и действа на неговото име.

Плюсове и минуси

Плюсове

Универсална приложимост за различни десктоп операционни системи и приложения
Възможност за изпълнение на сложни задачи чрез процес на планиране-изпълнение-отразяване
Поддръжка за базови мишка и клавиатура операции за взаимодействие с GUI
Ръчна анотация на набора от данни за обединяване на подадените задачи

Минуси

Трябва да има настройка VNC или подобна за достъп до отдалечен десктоп
Нужен е сложен процес за планиране на задачи и разбиране на снимките
Зависи от качеството и покритостта на набора от данни ScreenAgent

Рекорд от битки

В 3 битки в Пантеона.

1-во

2-ро

3-то

Last 3 battles

Отзиви

4.4

Средно от 5 оценки.

Влез, за да оставиш отзив.

Margaret Whitfield

Apr 23, 2026

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on the integrations, and it saves real time caught me off guard. The docs could be deeper is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Camille Laurent

Mar 7, 2026

Does the job

Pretty happy overall. The automation just works and the value for money is strong. A few rough edges remain can be annoying, but no dealbreakers — I'd recommend it to a friend without hesitating.

Diego Fernández

Jan 23, 2026

Years in this space

I've evaluated a lot of these over the years. What stands out here is the core workflow — handled better than most — and support is responsive. Pricing gets steep at scale is my one real gripe. Worth the time if this is your use case.

Wei Chen

Jan 10, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: the automation and it is genuinely easy to set up. Where it lags: pricing gets steep at scale. On balance the feature set — especially the onboarding — justifies the 4 stars for our use case.

Rina Desai

Jul 29, 2025

Use it every day

Honestly didn't expect to like it this much. The integrations is exactly what I needed, and the value for money is strong. but I reach for it almost every day now and it just clicks.

Въпроси

What are typical use cases for ScreenAgent?

It is suited to GUI automation tasks where an agent needs to perceive the screen and act via mouse/keyboard—such as automating desktop workflows, testing applications, or building research prototypes for computer-use agents.

Asked by Diego Fernández · Oct 12, 2025

How much does ScreenAgent cost?

ScreenAgent is open-source, so the software itself is freely available. You may still incur costs for the underlying VLM (if using a paid model) and the hardware required to run it.

Asked by Kwame Mensah · Oct 3, 2025

What is ScreenAgent and what can it do?

ScreenAgent is an open-source Visual Language Model (VLM) agent that controls computer GUIs. It plans and executes mouse and keyboard actions to automate on-screen tasks across desktop applications.

Asked by Sanjay Gupta · Sep 28, 2025