MemGPTFramework donnant aux LLM une mémoire à long terme et un contexte auto-géré au-delà des limites de jetons fixes

MemGPT est un cadre open-source conçu pour répondre à l'une des contraintes fondamentales des grands modèles de langage : leur fenêtre de contexte fixe. Issu de recherches à l'UC Berkeley, le projet a introduit l'idée de traiter le contexte limité d'un LLM comme un système d'exploitation gère une mémoire physique limitée, en utilisant des pages et des niveaux de mémoire hiérarchiques pour donner aux modèles l'apparence d'une mémoire beaucoup plus grande et persistante. L'approche de base est directement inspirée de la conception des systèmes d'exploitation. MemGPT fait la distinction entre la mémoire dans le contexte (les jetons actuellement dans la fenêtre de prompt du modèle) et le stockage externe maintenu en dehors du contexte. Le LLM lui-même se voit doté d'outils d'appel de fonctions qui lui permettent de décider quand déplacer des informations entre ces niveaux, par exemple en enregistrant des faits importants dans un stockage à long terme, en récupérant des informations pertinentes antérieures, ou en modifiant sa propre mémoire principale. C'est ce comportement d'auto-édition qui permet aux agents de maintenir un état cohérent et évolutif sur de longues conversations ou des documents qui dépassent largement une seule fenêtre de contexte. Le cadre est destiné aux développeurs qui créent des agents conversationnels nécessitant une mémoire persistante des utilisateurs et des interactions précédentes, ainsi qu'à ceux qui travaillent sur l'analyse de documents sur des corpus trop volumineux pour être pris en compte dans le contexte. En gérant la mémoire de rappel, le stockage d'archives et un contexte de travail, MemGPT permet aux agents de référencer des détails beaucoup plus anciens dans une interaction sans que le développeur n'ait à concevoir manuellement des pipelines de récupération pour chaque cas. MemGPT fonctionne à la fois avec des modèles propriétaires tels que ceux d'OpenAI et des modèles ouverts hébergés localement, et il s'intègre à des bases de données vectorielles et d'autres backends de stockage pour persister la mémoire entre les sessions. Le projet a ensuite évolué et est étroitement associé à Letta, une entreprise et une plateforme qui poursuit le développement des concepts d'agents étatiques sous-jacents, en proposant un serveur et des outils autour des idées originales. Ses principales forces sont la clarté conceptuelle et un modèle concret et réutilisable pour une mémoire à long terme qui va au-delà de la génération naïve augmentée par la récupération. Les compromis sont typiques des cadres d'agents : la boucle de mémoire auto-éditrice repose fortement sur la fiabilité de l'appel de fonctions du modèle, qui peut varier avec des modèles plus petits ou locaux, et les étapes supplémentaires de gestion de la mémoire ajoutent une latence et un surcoût de jeton. En tant que projet open-source en évolution, sa dénomination, ses API et son écosystème environnant ont changé au fil du temps, ce qui peut rendre la documentation et la gestion des versions une cible mouvante.