Self-Operating Computer오픈 소스 AI 에이전트로 컴퓨터를 스크린 비전 및 마우스/キー보드 제어로 작동

4.7 (6)

리뷰어 Daniel Nikulshyn·업데이트됨 2026년 5월

Open Source AI Agent Computer Use Desktop Automation Multimodal AI Developer Tools Research

개요

Self-Operating Computer는 오픈 소스 프레임워크로, 인공지능 모델이 데스크톱을 사용하는 사람처럼 제어할 수 있도록 합니다. 그것은 스크린샷을 캡처하고 인터페이스를 해석하고 마우스 클릭 및 키보드 입력을 발급하여 사용자 정의한 임무를 각 애플리케이션에서 수행할 수 있습니다. 이 프로젝트는 다양한 베이스 모델을 지원하고, GPT-4를 포함한 시각기능이 있는 모델, Gemini, Claude 및 LLaVA와 같은 다양한 옵션을 제공하여 사용자가 클라우드와 로컬 옵션을 선택할 수 있습니다. API가 아닌 시각적으로 작동하므로, 사용자는 API를 통해 작동하는 프로그램을 제외하고는, 브라우저부터 네이티브 소프트웨어까지 모든 프로그램을 작동할 수 있습니다. 개발자 및 연구원에게 주요하게 목적은 자율적 에이전트, 컴퓨터 이용 AI 및 워크플로우 자동화에 대한 연구를 진행하고자 하는 경우에 사용됩니다. 구성을 위해 명령 행을 사용하고, naturally language 프롬프트를 통해 작업 을 설명합니다.

주요 기능

스크린 샷 기반 화면 이해 capability
자동 마우스 및 키보드 제어
다중 모델 지원 (GPT-4, Gemini, Claude, LLaVA)
자연어 언어 작업 명령
크로스 플랫폼 데스크톱 호환성
오픈 소스, 확장 가능한 코드베이스

가격

모델: Freemium
카테고리: 정력의 UCE14의주좋
평점: 4.7 / 5 (6)

사용 사례

자율적인 컴퓨터 사용 에이전트를 prototype한다

연구자 및 개발자가 스크린을 인식하고 마우스와 키보드를 제어하여 사용자가 정의 한 데스크톱 태스크를 완료하는 비전 기반 AI 에이전트를 실험할 수 있습니다.

크로스 애플리케이션 워낙스 자동화

자연어 명령을 사용하여 뷰어와 원생 앱 간의 시퀀스를 구동할 수있으므로, 프레임워크는 시각적으로 프로그램을 작동하려는 대신 API에 의존하지 않습니다.

UI 태스크에 대하여 다변수 모델을 벤치마크한다

가시성 screen-control 태스크에서 동일한 화면 조작 태스크에 GPT-4, Gemini, Claude 및 LLaVA를 비교하여 정확성, 속도 및 비용 대비 트레이드 오프를 평가합니다.

오픈 소스 에이전트 프레임 워크를 확장한다

기본 구축 위에 작업하는 custom 자율 에이전트를 만드는 데 사용할 수 있는 new 모델, tool, 및 task strategy를 추가하기 위해 코드베이스를 fork 및 modify 할 수 있습니다.

장단점

장점

무료 및 오픈 소스
다중 비전 능력 있는 LLM과 함께 작동
visible 애플리케이션을 제어 하며 웹 앱만 아니라
에이전트 연구 및 실험의 useful 기반
API 사용이 장기적인 작업에 비용을 누적 할 수 있지만

단점

선택한 모델에 따라 정확도가 heavily 의존합니다
터미널을 통해 기술적인 설정이 필요합니다
속도가 느리고 UI 오류를 일으킬 수 있습니다
장기적인 작업의 경우 API 사용 비용이 쌓여집니다

리뷰

4.7

6개 평가의 평균.

리뷰를 작성하려면 로그인하세요.

Victor Nguyen

May 25, 2026

Does the job

Pretty happy overall. Cross-platform desktop compatibility just works and controls any visible application, not just web. but no dealbreakers — I'd recommend it to a friend without hesitating.

Nadia Petrova

Feb 23, 2026

Years in this space

I've evaluated a lot of these over the years. What stands out here is cross-platform desktop compatibility — handled better than most — and free and open source. Worth the time if this is your use case.

Gunnar Eriksson

Jan 9, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: cross-platform desktop compatibility and works with multiple vision-capable LLMs. Where it lags: requires technical setup via terminal. On balance the feature set — especially automated mouse and keyboard control — justifies the 5 stars for our use case.

Leila Hassan

Nov 11, 2025

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on automated mouse and keyboard control, and controls any visible application, not just web caught me off guard. Can be slow and make UI mistakes is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Joanna Kowalski

Jul 30, 2025

Years in this space

I've evaluated a lot of these over the years. What stands out here is open-source, extensible codebase — handled better than most — and useful base for agent research and experimentation. Can be slow and make UI mistakes is my one real gripe. Worth the time if this is your use case.

Devin Walker

Jun 25, 2025

Does the job

Pretty happy overall. Automated mouse and keyboard control just works and controls any visible application, not just web. Can be slow and make UI mistakes can be annoying, but no dealbreakers — I'd recommend it to a friend without hesitating.