Self-Operating ComputerOffene-source-AI-Agent, die Ihren Computer mittels Bildschirmvision und Maus-/Tastensteuerung betreibt.

4.7 (6)

Geprüft von Daniel Nikulshyn·Aktualisiert Mai 2026

Open Source AI Agent Computer Use Desktop Automation Multimodal AI Developer Tools Research

Übersicht

Self-Operating Computer ist ein Open-Source-Framework, das es multimodalen KI-Modellen ermöglicht, einen Desktop wie ein Mensch zu steuern. Es erfasst Screenshots, interpretiert die Schnittstelle und sendet Mausklicks und Tastatureingaben, um benutzerdefinierte Aufgaben in beliebigen Anwendungen auszuführen. Das Projekt unterstützt mehrere zugrunde liegende Modelle, darunter GPT-4 mit Vision, Gemini, Claude und LLaVA, und ermöglicht es Benutzern, zwischen Cloud- und lokalen Optionen zu wählen. Da es visuell und nicht über APIs funktioniert, kann es theoretisch jedes Programm bedienen, das auch ein Mensch verwenden kann, von Browsern bis hin zu nativer Software. Es richtet sich in erster Linie an Entwickler und Forscher, die autonome Agenten, computerbasierte KI und Workflow-Automatisierung erforschen. Die Einrichtung erfolgt über die Kommandozeile, und Aufgaben werden in natürlichen Sprachaufforderungen beschrieben.

Hauptfunktionen

Bildschirm-basierte Bildschirmsichtbarkeit
Automatisierte Maus- und Tastensteuerung
Unterstützung verschiedener Modelle (GPT-4 mit Vision, Gemini, Claude, LLaVA)
Umgangssprachliche Aufgabenanfragen
Kompatibilität mit verschiedenen Desktop-Plattformen
Offener, erweiterbarer Code
pros
:
Kostenlos und open source,Kompatibilität mit mehreren vision-basierten LLMs,Controllieren aller sichtbaren Programme, nicht nur des Web,Nützliche Basis für Agentenforschung und Experimente,con,:,Genauigkeit hängt stark von dem gewählten Modell ab,Benötigt technisches Setup via Shell,Kann langsam und

Preise

Modell: Freemium
Kategorie: Aufgabenautomatisierung
Bewertung: 4.7 / 5 (6)

Anwendungsfälle

Prototypen autonomer Computer-User-Agenten

Forscher und Entwickler können mit vision-basierenden AI-Agenten experimentieren, die die Bildschirmsicht wahrnehmen und die Tastatur und Mouse steuern, um bestimmte Desktopaufgaben zu erfüllen.

Automatisierung von Cross-Anwendungsbereichen

NaturSprache-Anweisungen verwenden, um Sequenzen über Browser und native Apps zu steuern, da Rahmenwerk jede Programm anwendbar visualistiert, anstatt auf APIs abzuleiten.

Benchmark multimodale Modelle auf UI- Aufgaben

GPT-4 mit Vision, Gemini, Claude, LLaVA mit identischen Bildschimbereichsaufgaben vergleichen, um Genauigkeit, Geschwindigkeit und Kostenabwägungen zu bewerten.

Öffnen Sie eine Open-Source Agent-Framework

Übernehmen Sie den Codebase, um neue Modelle, Werkzeuge oder Strategien für Aufgaben hinzuzufügen, und bauen Sie auf einer funktionierenden Grundlage zustande kommende autonomous Agenten auf.

Pro & Contra

Pro

kostenlos und Open-Source
funktioniert mit mehreren vision-fähigen LLMs
kontrolliert jede sichtbare Anwendung, nicht nur Web
wird als nützlicher Ausgangspunkt für Forschung und Experimente mit Agenten verwendet

Contra

Genauigkeit hängt stark vom gewählten Modell ab
erfordert eine technische Einrichtung über die Befehlszeile
kann langsam sein und Anforderungen im Benutzeroberflächen-Design treffen
API-Nutzungskosten können sich bei langen Arbeitsabläufen addieren

Bewertungen

4.7

Durchschnitt aus 6 Bewertungen.

Melde dich an, um eine Bewertung abzugeben.

Victor Nguyen

May 25, 2026

Does the job

Pretty happy overall. Cross-platform desktop compatibility just works and controls any visible application, not just web. but no dealbreakers — I'd recommend it to a friend without hesitating.

Nadia Petrova

Feb 23, 2026

Years in this space

I've evaluated a lot of these over the years. What stands out here is cross-platform desktop compatibility — handled better than most — and free and open source. Worth the time if this is your use case.

Gunnar Eriksson

Jan 9, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: cross-platform desktop compatibility and works with multiple vision-capable LLMs. Where it lags: requires technical setup via terminal. On balance the feature set — especially automated mouse and keyboard control — justifies the 5 stars for our use case.

Leila Hassan

Nov 11, 2025

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on automated mouse and keyboard control, and controls any visible application, not just web caught me off guard. Can be slow and make UI mistakes is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Joanna Kowalski

Jul 30, 2025

Years in this space

I've evaluated a lot of these over the years. What stands out here is open-source, extensible codebase — handled better than most — and useful base for agent research and experimentation. Can be slow and make UI mistakes is my one real gripe. Worth the time if this is your use case.

Devin Walker

Jun 25, 2025

Does the job

Pretty happy overall. Automated mouse and keyboard control just works and controls any visible application, not just web. Can be slow and make UI mistakes can be annoying, but no dealbreakers — I'd recommend it to a friend without hesitating.

Fragen & Antworten

Was sind die Einschränkungen?

Die Genauigkeit hängt vom gewählten Modell ab, es kann langsam sein und UI‑Fehler verursachen; bei langen Aufgaben können zusätzliche API‑Kosten anfallen.

Asked by Paloma Ruiz · Mar 29, 2026

Wie werden Aufgaben definiert?

Aufgaben werden in natürlicher Sprache über Prompt‑Eingaben in der Kommandozeile beschrieben.

Asked by Abebe Girma · Feb 27, 2026

Welche Modelle werden unterstützt?

Es werden mehrere Modelle unterstützt, darunter GPT‑4 mit Vision, Gemini, Claude und LLaVA, sowohl in Cloud‑ als auch in lokalen Varianten.

Asked by Victor Nguyen · Feb 24, 2026

Ist Self-Operating Computer kostenlos?

Ja, Self-Operating Computer ist kostenlos und Open‑Source.

Asked by Ravi Kapoor · Jan 11, 2026