Code as PoliciesUn cadre utilisant des programmes générés par des modèles de langue pour permettre aux robots de réaliser des tâches complexes par le biais de politiques basées sur du code.

Code as Policies est un cadre qui utilise des programmes générés par des modèles de langage pour permettre aux robots d'effectuer des tâches complexes grâce à des politiques basées sur le code. Il permet aux robots de comprendre et d'exécuter des instructions en langage naturel en utilisant des grands modèles de langage pour écrire du code de politique de robot. Ce cadre démontre ses capacités à travers des démonstrations de tâches de manipulation sur table, telles que l'agencement de blocs et leur placement dans des bols, et peut être appliqué dans divers domaines. En chaînant des structures logiques classiques et en référencent des bibliothèques tierces, le code généré peut exhiber une raisonnement géométrique-spatial, généraliser à de nouvelles instructions et prescrire des valeurs précises à des descriptions ambiguës. Le framework utilise une approche de prompting à quelques exemples pour écrire des politiques de robot qui peuvent représenter des politiques réactives et des politiques basées sur des points de passage. Il peut écrire des codes plus complexes et améliore l'état de l'art dans la résolution de problèmes sur le benchmark HumanEval. Le code et les vidéos démontrant les capacités du framework sont disponibles sur son dépôt GitHub. Dans le domaine de la manipulation de plateau, le cadre utilise des arguments en langage naturel pour composer le code généré via des appels de fonction. Des invites sont utilisées pour spécialiser le modèle de langage pour effectuer différentes fonctions. Le cadre a démontré ses capacités dans diverses tâches, notamment la disposition de blocs en un carré, le déplacement de blocs vers des positions spécifiques, et même l'exécution de commandes qui impliquent une narration créative. Cependant, la dépendance du cadre à l'égard de grands modèles de langage signifie qu'il peut être limité par leurs capacités et leurs biais. De plus, l'utilisation d'arguments en langage naturel peut introduire des ambiguïtés ou des incertitudes dans le code généré.