ScreenAgentAgent de langage visuel ouvert-source pour contrôler les interfaces graphiques d'ordinateur via planification et exécution de souris/clavier.

Le ScreenAgent est un agent de langage visuel ouvert-source conçu pour contrôler les interfaces graphiques d'ordinateur via opérations de souris et de clavier. Cela permet une interaction avec des écrans de vrai ordinateur en observant des captures d'écran et en exécutant des actions. Le projet inclut un processus de planification-exécution-réflexion qui guide l'agent pour la réalisation d'activités multi-étapes. Il a été créé pour répondre au défi de l'enseignement des agents à utiliser les ordinateurs, nécessitant des capacités telles que la planification de tâches, la reconnaissance d'images et la positionnement visuel. Le dataset ScreenAgent, qui couvre diverses tâches informatiques quotidiennes, a été annoté de manière manuelle pour soutenir l'apprentissage de l'agent. Le projet consiste en un client pour contrôler le bureau, un dataset, des ouvriers de modèle pour des résultats d'inférence et un code de formation. Il soutient des opérations de souris et de clavier de base et peut être appliqué à différents systèmes d'exploitation et applications de bureau. L'approche du ScreenAgent est universelle et ne repose pas sur des APIs spécifiques, ce qui en fait versatile.