Agent SFramework open-source d'agent GUI qui permet à un LLM d'utiliser votre ordinateur comme un humain via une interface agent-ordinateur.

Agent S est un cadre de framework GUI open-source qui permet aux grands modèles de langues (LLM) d'interagir avec des ordinateurs comme les humains via une interface Agent-Ordinateur. Le cadre permet aux LLM d'apprendre des expériences passées et de réaliser des tâches complexes de manière autonome sur un ordinateur. Agent S est conçu pour des écrans moniteurs simples et supporte les plateformes Linux, Mac et Windows. Le cadre a réalisé des résultats de pointe dans diverses épreuves, notamment OSWorld, WindowsAgentArena et AndroidWorld. Agent S3, la dernière version, a dépassé la performance à niveau humain sur OSWorld avec un score de 72,60 %. Il a également démontré de fortes capacités de généralisation zéro-cliché. Agent S fournit une architecture flexible et modulaire pour la création d'agents GUI. Le cadre inclut une bibliothèque appelée gui-agents, qui permet aux utilisateurs d'intégrer facilement Agent S à leurs applications. La bibliothèque supporte plusieurs plateformes et offre un processus d'installation simple. Le développement d'Agent S est axé sur l'avancement des capacités des agents GUI autonomes. Le cadre a le potentiel d'être utilisé dans diverses applications, notamment l'autonomisation, la recherche AI et la vision par ordinateur. Cependant, les utilisateurs doivent faire preuve de prudence lors de l'exécution d'Agent S, car il contrôle l'ordinateur en exécutant du code Python.