Agent SFramework open-source de agentes GUI que permite a um LLM usar o seu computador como um humano através de uma Agent-Computer Interface.

Agent S é um framework de agente GUI open-source que permite que modelos de linguagem grande (LLMs) interajam com computadores como humanos por meio de uma Interface Agente-Computador. O framework permite que os LLMs aprendam com experiências passadas e executem tarefas complexas de forma autônoma em um computador. Agent S foi projetado para telas de um único monitor e suporta plataformas Linux, Mac e Windows. O framework atingiu resultados de ponta em vários benchmarks, incluindo OSWorld, WindowsAgentArena e AndroidWorld. A versão mais recente, Agent S3, superou o desempenho humano no OSWorld com pontuação de 72,60%. Também demonstrou fortes capacidades de generalização zero-shot. Agent S oferece uma arquitetura flexível e modular para construir agentes GUI. O framework inclui uma biblioteca chamada gui-agents, que permite aos usuários integrar facilmente o Agent S às suas aplicações. A biblioteca suporta múltiplas plataformas e oferece um processo de instalação simples. O desenvolvimento do Agent S está focado em avançar as capacidades de agentes GUI autônomos. O framework tem potencial para ser usado em diversas aplicações, incluindo automação, pesquisa em IA e visão computacional. No entanto, os usuários devem ter cautela ao executar o Agent S, pois ele controla o computador rodando código Python.