Self-Operating ComputerAgente de IA de código aberto que opera seu computador por meio de visão de tela e controle de mouse/teclado.

4.7 (6)

Avaliado por Daniel Nikulshyn·Atualizado maio de 2026

Open Source AI Agent Computer Use Desktop Automation Multimodal AI Developer Tools Research

Visão geral

O Self-Operating Computer é um framework open-source que permite a modelos de IA multimodais controlar um desktop da forma como um ser humano o faria. Ele captura telas de captura, interpreta a interface e envia inputs de mouse e teclado para realizar tarefas definidas pelo usuário em qualquer aplicativo. O projeto apoia vários modelos subjacentes, incluindo GPT-4 com visão, Gemini, Claude e LLaVA, permitindo aos usuários escolher entre opções de nuvem e local. Pelo fato de funcionar visualmente em vez de através de APIs, em teoria, ele pode operar qualquer programa que um humano possa usar, desde navegadores até software nativo. Seu foco principal é direcionado para desenvolvedores e pesquisadores que exploram agêntes autônomos, inteligência artificial para o uso do computador e automação de fluxo de trabalho. A configuração é realizada via linha de comando, e as tarefas são descritas em prompts de linguagem natural.

Funcionalidades principais

Entendimento de tela baseado em screenshots
Controle automatizado de mouse e teclado
Suporte a vários modelos (GPT-4, Gemini, Claude, LLaVA)
Prompt de tarefas em linguagem natural
Compatibilidade de desktop multiplataforma
Código aberto e extensível

Preços

Modelo: Freemium
Categoria: Automação de Tarefas
Avaliação: 4.7 / 5 (6)

Casos de uso

Prototipar agentes autônomos de uso de computador

Pesquisadores e desenvolvedores podem experimentar agentes de IA baseados em visão que percebem a tela e controlam o mouse e o teclado para completar tarefas de desktop definidas pelo usuário.

Automatizar fluxos de trabalho entre aplicativos

Use prompts de linguagem natural para direcionar sequências em navegadores e aplicativos nativos, pois a estrutura opera qualquer programa visualmente, em vez de depender de APIs.

Avaliar modelos multimodais em tarefas de UI

Compare GPT-4 com visão, Gemini, Claude e LLaVA em tarefas de controle de tela idênticas para avaliar precisão, velocidade e compensações de custo.

Estender uma estrutura de agente de código aberto

Fork e modifique o código-fonte para adicionar novos modelos, ferramentas ou estratégias de tarefa, construindo agentes autônomos personalizados em cima de uma base de trabalho.

Prós e contras

Prós

Grátis e de código aberto
Funciona com vários LLMs capacitados para visão
Controla qualquer aplicativo visível, não apenas a web
Base útil para pesquisa e experimentação de agentes

Contras

A precisão depende fortemente do modelo escolhido
Requer configuração técnica via terminal
Pode ser lento e cometer erros de UI
Os custos de uso de API podem aumentar em tarefas longas

Avaliações

4.7

Média de 6 avaliações.

Entra para deixar uma avaliação.

Victor Nguyen

May 25, 2026

Does the job

Pretty happy overall. Cross-platform desktop compatibility just works and controls any visible application, not just web. but no dealbreakers — I'd recommend it to a friend without hesitating.

Nadia Petrova

Feb 23, 2026

Years in this space

I've evaluated a lot of these over the years. What stands out here is cross-platform desktop compatibility — handled better than most — and free and open source. Worth the time if this is your use case.

Gunnar Eriksson

Jan 9, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: cross-platform desktop compatibility and works with multiple vision-capable LLMs. Where it lags: requires technical setup via terminal. On balance the feature set — especially automated mouse and keyboard control — justifies the 5 stars for our use case.

Leila Hassan

Nov 11, 2025

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on automated mouse and keyboard control, and controls any visible application, not just web caught me off guard. Can be slow and make UI mistakes is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Joanna Kowalski

Jul 30, 2025

Years in this space

I've evaluated a lot of these over the years. What stands out here is open-source, extensible codebase — handled better than most — and useful base for agent research and experimentation. Can be slow and make UI mistakes is my one real gripe. Worth the time if this is your use case.

Devin Walker

Jun 25, 2025

Does the job

Pretty happy overall. Automated mouse and keyboard control just works and controls any visible application, not just web. Can be slow and make UI mistakes can be annoying, but no dealbreakers — I'd recommend it to a friend without hesitating.