Self-Operating ComputerAvatud lähtekoodiga AI agent, mis juhib teie arvutit ekraani nägemise ja hiire/klaviatuuri juhtimise kaudu.

4.7 (6)

Vaadanud Daniel Nikulshyn·Uuendatud mai 2026

Open Source AI Agent Computer Use Desktop Automation Multimodal AI Developer Tools Research

Ülevaade

Self-Operating Computer on avatud lähtekoodiga raamistik, mis võimaldab mitme modaalsusega AI mudelitel juhtida töölauda nii, nagu inimene seda teeks. See jäädvustab ekraanipilte, tõlgendab liidest ja väljastab hiireklikke ja klaviatuuri sisendeid kasutaja määratletud ülesannete täitmiseks kõikides rakendustes. Projekt toetab mitmeid alusmudeleid, sealhulgas GPT-4 koos nägemisega, Gemini, Claude ja LLaVA, võimaldades kasutajatel valida pilve- ja kohalike valikute vahel. Kuna see töötab visuaalselt, mitte API-de kaudu, saab see teoreetiliselt käivitada mis tahes programmi, mida inimene saab kasutada, alates brauseritest kuni kohaliku tarkvarani. See on peamiselt suunatud arendajatele ja uurijatele, kes uurivad autonoomseid agente, arvuti kasutamise tehisintellekti ja töövoo automatiseerimist. Seadistamine toimub käsurea kaudu ning ülesanded kirjeldatakse loomuliku keele viipades.

Põhifunktsioonid

Ekraanipilti-põhine ekraani mõistmine
Automaatne hiire ja klaviatuuri juhtimine
Mitme mudeli tugi (GPT-4, Gemini, Claude, LLaVA)
Loomuliku keele ülesande viiped
Ristplatvormiline töölaua ühilduvus
Avatud lähtekoodiga, laiendatav koodibaas

Hinnad

Mudel: Freemium
Kategooria: Tehtudotsustus
Hinnang: 4.7 / 5 (6)

Kasutusjuhud

Autonoomsete arvutikasutusagentide prototüüp

Teadlased ja arendajad saavad katsetada nägemispõhiste AI agentidega, mis tajuvad ekraani ja juhivad hiirt ja klaviatuuri, et täita kasutaja määratud töölaudade ülesandeid.

Automaatika mitme rakenduse töövood

Kasutage loomuliku keele viiteid, et juhtida järjestusi brauserites ja kohalikes rakendustes, kuna raamistik töötab mis tahes programmiga visuaalselt, mitte ei toetu API-dele.

Mitme mudeli võrdlus UI ülesannetel

Võrrelge GPT-4-ga nägemise, Gemini, Claude ja LLaVA-ga identsete ekraanijuhtimisülesannete puhul, et hinnata täpsuse, kiiruse ja maksekulude kompromisse.

Laiendage avatud lähtekoodiga agentide raamistikku

Hargistage ja muutke koodibaasi, et lisada uusi mudeleid, tööriistu või ülesannete strateegiaid, luues kohandatud autonoomseid agente töötava fondi põhjal.

Plussid ja miinused

Plussid

Tasuta ja avatud lähtekoodiga
Töötab mitme nägemisvõimelise LLM-iga
Juhtib mis tahes nähtavat rakendust, mitte ainult veebi
Kasulik alus agentide uurimiseks ja katsetamiseks

Miinused

Täpsus sõltub suuresti valitud mudelist
Nõuab tehnilist seadistamist terminali kaudu
Võib olla aeglane ja teha UI vigu
API kasutuskulud võivad pika ülesande korral suureneda

Arvustused

4.7

Keskmine 6 hinnangust.

Logi sisse arvustuse jätmiseks.

Victor Nguyen

May 25, 2026

Does the job

Pretty happy overall. Cross-platform desktop compatibility just works and controls any visible application, not just web. but no dealbreakers — I'd recommend it to a friend without hesitating.

Nadia Petrova

Feb 23, 2026

Years in this space

I've evaluated a lot of these over the years. What stands out here is cross-platform desktop compatibility — handled better than most — and free and open source. Worth the time if this is your use case.

Gunnar Eriksson

Jan 9, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: cross-platform desktop compatibility and works with multiple vision-capable LLMs. Where it lags: requires technical setup via terminal. On balance the feature set — especially automated mouse and keyboard control — justifies the 5 stars for our use case.

Leila Hassan

Nov 11, 2025

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on automated mouse and keyboard control, and controls any visible application, not just web caught me off guard. Can be slow and make UI mistakes is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Joanna Kowalski

Jul 30, 2025

Years in this space

I've evaluated a lot of these over the years. What stands out here is open-source, extensible codebase — handled better than most — and useful base for agent research and experimentation. Can be slow and make UI mistakes is my one real gripe. Worth the time if this is your use case.

Devin Walker

Jun 25, 2025

Does the job

Pretty happy overall. Automated mouse and keyboard control just works and controls any visible application, not just web. Can be slow and make UI mistakes can be annoying, but no dealbreakers — I'd recommend it to a friend without hesitating.