ScreenAgent오픈 소스 VLM 에이전트를 통해 마우스/키보드 계획 및 실행을 통한 컴퓨터 GUI 제어.

4.4 (5)

리뷰어 Daniel Nikulshyn·업데이트됨 2026년 7월

Open Source VLM Agent GUI Automation Computer Use Research Mouse & Keyboard Multimodal Desktop

개요

ScreenAgent은 오픈 소스 Visual Language Model (VLM) 에이전트로 컴퓨터의 GUI를 마우스와 키보드 작업으로 제어하는 데 설계되었습니다. 스크린샷을 관찰하고 작업을 실행하여 실제 컴퓨터 화면과 상호 작용할 수 있습니다. 이 프로젝트는 여러 단계의 작업을 완료하려면 에이전트에 대한 가이드로 계획-실행-반성이 포함됩니다. 에이전트가 컴퓨터를 사용하는 것을 가르칠 수 있는 challeng를 해결하기 위해 만들어졌습니다. 이는 과제 계획, 이미지 이해, 시각적 위치화와 같은 기능이 필요합니다. ScreenAgent 데이터 세트는 다양한 일상 컴퓨터 업무를 다룹니다. 이 데이터 세트는 에이전트의 학습을 지원하기 위해 수동으로 어노테이션되었습니다. 프로젝트는 데스크톱을 제어하는 클라이언트, 모델 워커สำหร인ферен스, 모델 교육 코드의 트레이닝 코드로 구성됩니다. 기본 마우스와 키보드 작업을 지원하고 데스크톱 운영 체제 및 응용 프로그램의 다양한 버전에 적용할 수 있습니다. ScreenAgent의 접근법은 유니버설로 특정 API에 의존하지 않습니다. 따라서 유연하게 사용할 수 있습니다.

주요 기능

마우스 및 키보드 작동 실행
완료 작업을 위해 계획-실행-사후 검토 과정
各种 데스크톱 운영 체제 및 응용 프로그램을 지원
ScreenAgent 데이터셋의 다양한 과업 커버리지를 위해 수동 주석작업
GUI 상호 작용을 위한 VLM 에이전트

가격

모델: Freemium
카테고리: 퍨다붅해는뎌니다북회프로할는
평점: 4.4 / 5 (5)

사용 사례

반복적인 데스크톱 워크플로우 자동화

VLM 에이전트를 사용하여 마우스와 키보드 작동을 통해 GUI 응용 프로그램으로의 작동을 예약하고 실행하고, 다단계 과업이 반복적으로 처리되는 방식으로 GUI 상호 작용을 처리합니다.

비주얼 언어 에이전트 연구

스크린 이해와 컴퓨터 작동을 위한 비전-언어_model 에이전트를 연구하고, 성능을 측정하고 확장하고자 할 때, 오픈 소스 코드베이스를 활용합니다.

GUI 상속 과업 실행

GUI 프로그램에 걸친 과업을 계획하고 실행시키기 위해 에이전트를 지시하고, 화면의 이해를 통해 윈도우 및 제어를 통해서 실행합니다.

액세스빌리티와 어시스트 컨트롤

에이전트를 통해 사용자가 자연어 주도적으로 컴퓨터 GUI에 작동을 하게하여, 화면을 이해하고 사용자의 대리를 통해 작동에 참여하는 데 도움을 줍니다.

장단점

장점

다양한 데스크톱 운영 체제와 응용 프로그램에 대한 UNIVERSAL 애플리케이비리
계획-실행-사후 검토 과정을 통해 복잡한 작업을 수행할 수 있는 기능
GUI 상호 작용을 위한 기본적인 마우스 및 키보드 작동을 지원
전체적인 과업 커버리지에 대한 ScreenAgent 데이터셋 수동 주석작업

단점

VNC 서버나 유사한 설정으로의 원격 데스크톱 연결을 위한 요구 사항
복잡한 과업 계획 및 이미지 이해도 기능이 필요
ScreenAgent 데이터셋의 품질 및 커버리지에 의존

리뷰

4.4

5개 평가의 평균.

리뷰를 작성하려면 로그인하세요.

Margaret Whitfield

Apr 23, 2026

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on the integrations, and it saves real time caught me off guard. The docs could be deeper is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Camille Laurent

Mar 7, 2026

Does the job

Pretty happy overall. The automation just works and the value for money is strong. A few rough edges remain can be annoying, but no dealbreakers — I'd recommend it to a friend without hesitating.

Diego Fernández

Jan 23, 2026

Years in this space

I've evaluated a lot of these over the years. What stands out here is the core workflow — handled better than most — and support is responsive. Pricing gets steep at scale is my one real gripe. Worth the time if this is your use case.

Wei Chen

Jan 10, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: the automation and it is genuinely easy to set up. Where it lags: pricing gets steep at scale. On balance the feature set — especially the onboarding — justifies the 4 stars for our use case.

Rina Desai

Jul 29, 2025

Use it every day

Honestly didn't expect to like it this much. The integrations is exactly what I needed, and the value for money is strong. but I reach for it almost every day now and it just clicks.

Q&A

What are typical use cases for ScreenAgent?

It is suited to GUI automation tasks where an agent needs to perceive the screen and act via mouse/keyboard—such as automating desktop workflows, testing applications, or building research prototypes for computer-use agents.

Asked by Diego Fernández · Oct 12, 2025

How much does ScreenAgent cost?

ScreenAgent is open-source, so the software itself is freely available. You may still incur costs for the underlying VLM (if using a paid model) and the hardware required to run it.

Asked by Kwame Mensah · Oct 3, 2025

What is ScreenAgent and what can it do?

ScreenAgent is an open-source Visual Language Model (VLM) agent that controls computer GUIs. It plans and executes mouse and keyboard actions to automate on-screen tasks across desktop applications.

Asked by Sanjay Gupta · Sep 28, 2025