ScreenAgentTütsülenmiş VLM aracı, fare/klavye planlama ve yürütmeyle bilgisayarın GUI'sini kontrol etmek içindir.

4.4 (5)

İnceleyen Daniel Nikulshyn·Güncellendi Temmuz 2026

Open Source VLM Agent GUI Automation Computer Use Research Mouse & Keyboard Multimodal Desktop

Genel Bakış

ScreenAgent, bir Visual Dil Modeli (VLM) ajanıdır ve fare ve klavye operasyonlarıyla bilgisayarın kullanıcı arayüzünü kontrol etmesini sağlar. İmajları gözlemleyerek eylemleri gerçekleştirerek gerçek bilgisayar ekranlarıyla etkileşime geçilmesi sağlar. Proje, multi-step görevleri tamamlamayı sağlayacak bir planlama-gerçekleştirmeye-geri bildirim süreçlerinden oluşur. Ajanların bilgisayarları kullanmayı öğretme zorluğu ile karşılaşıldığı için bu proje, görev planlama, imaj anlaşma ve visüel konumlanma gibi yetenekleri ihtiva etmektedir. EkranAgent veri kümesi, günlük bilgisayar görevlerini kapsar, ancak veri kümesi manuel bir annotasyon ile ajanın öğrenmesine yardımcı olmaktadır. Uygulamaya dahil edilen bir istemci, bilgisayarın ekranını kontrol eden kod; modeller için altyapı işçiler, modelin testi ve eğitim kodları, proje bileşenleri arasındadır. Desteklediği temel fare ve klavye operasyonları var; farklı bir masaüstü işletim sistemleri için aynı anda uygulanabilir. EkranAgent yaklaşımı evrensel olup belirli API'lerin kullanımı ile bağlı değildir; bu durum onu esnek bir uygulamaya dönüştürüyor.

Temel özellikler

Fare ve klavye işlemleri yürütme
Gözlemsel-eylemsel-gerileme süreci görevi tamamlamak için
Çeşitli masaüstü işletim sistemleri ve uygulamaları için destek
Daha geniş görev kapanlığını sağlayacak ScreenAgent veriseti için el ile vurgulama
GUI etkileşimi için bir VLM aracı

Fiyatlar

Model: Freemium
Kategori: AI Ajan Geliştirme Çerçeveleri
Puan: 4.4 / 5 (5)

Kullanım senaryoları

Tekrarlı masaüstü akışlarını otomate edinen iş

VLM aracını kullanın ve fare ve klavye işlemlerini GUI uygulamaları arasında planlayın ve yürütün, her etkileşimi her biri için scriptlemeye gerek kalmadan birden çok adımlık rutin görevleri halledin.

Görüş dil aracı araştırmaları

Görüş dil kod tabanını kullanma sağlayarak ve vision-dil modeli araçlarının ekrana bakışları ve bilgisayarları işletmelerini inceleyerek, benchmarkleyerek ve genişletmeye devam edin.

Karmaşık GUI programları üzerindeki görev yürütmesi

Arajiyi planlayarak ve çoklu GUI programları boyunca görevi yürüten araca yönlendirerek, ekranın anlaşılırlılığını kullanarak pencere ve kontrolleri gezin.

Uygunlu ve yardımcı kontrol

Natüral-dil sürüklenen kontrolü sağlayarak, kullanıcıları bir aracını kullanarak bilgisayarın GUI'sini kontrol etmelerini sağlar. Görsel dil tarafından ekranın anlaşılırlılığını kullanıyor ve işlemlerini onların adınıza davranıyorlar.

Artılar ve eksiler

Artılar

Farklı masaüstü işletim sistemleri ve uygulamaları için evrensel uygulanabilirlik
Bir planlama-eyleme-gerileme süreci aracılığıyla karmaşık görevleri gerçekleştirmeyi sağlayan yetenek
GUI etkileşimi için temel fare ve klavye işlemleri için destek
Genel görev kapsamlı görev kapanlığını sağlayacak el ile veriset vurgulaması

Eksiler

Uzaktan masaüstü bağlantısı için bir VNC sunucusu veya benzer bir ayar gerektirir
Karmaşık görev planlama ve görüntüleme kapasiteliğinin gerekli
ScreenAgent verisetinin kalitesi ve kapsamlı olduğuna bağlı

İncelemeler

4.4

5 puandan ortalama.

İnceleme bırakmak için giriş yap.

Margaret Whitfield

Apr 23, 2026

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on the integrations, and it saves real time caught me off guard. The docs could be deeper is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Camille Laurent

Mar 7, 2026

Does the job

Pretty happy overall. The automation just works and the value for money is strong. A few rough edges remain can be annoying, but no dealbreakers — I'd recommend it to a friend without hesitating.

Diego Fernández

Jan 23, 2026

Years in this space

I've evaluated a lot of these over the years. What stands out here is the core workflow — handled better than most — and support is responsive. Pricing gets steep at scale is my one real gripe. Worth the time if this is your use case.

Wei Chen

Jan 10, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: the automation and it is genuinely easy to set up. Where it lags: pricing gets steep at scale. On balance the feature set — especially the onboarding — justifies the 4 stars for our use case.

Rina Desai

Jul 29, 2025

Use it every day

Honestly didn't expect to like it this much. The integrations is exactly what I needed, and the value for money is strong. but I reach for it almost every day now and it just clicks.

Sorular

What are typical use cases for ScreenAgent?

It is suited to GUI automation tasks where an agent needs to perceive the screen and act via mouse/keyboard—such as automating desktop workflows, testing applications, or building research prototypes for computer-use agents.

Asked by Diego Fernández · Oct 12, 2025

How much does ScreenAgent cost?

ScreenAgent is open-source, so the software itself is freely available. You may still incur costs for the underlying VLM (if using a paid model) and the hardware required to run it.

Asked by Kwame Mensah · Oct 3, 2025

What is ScreenAgent and what can it do?

ScreenAgent is an open-source Visual Language Model (VLM) agent that controls computer GUIs. It plans and executes mouse and keyboard actions to automate on-screen tasks across desktop applications.

Asked by Sanjay Gupta · Sep 28, 2025