MemGPTMarco que le da a los LLM una memoria a largo plazo y un contexto autogerenciado más allá de los límites de tokens fijos

MemGPT es un marco de código abierto diseñado para abordar una de las limitaciones fundamentales de los grandes modelos de lenguaje: su ventana de contexto fija. Originado a partir de una investigación en UC Berkeley, el proyecto introdujo la idea de tratar el contexto limitado de un LLM como un sistema operativo gestiona la memoria física limitada, utilizando paginación y niveles de memoria jerárquicos para dar a los modelos la apariencia de una memoria mucho mayor y persistente. El enfoque central toma prestado directamente del diseño del sistema operativo. MemGPT distingue entre la memoria en contexto (los tokens actualmente en la ventana de solicitud del modelo) y el almacenamiento externo mantenido fuera del contexto. Al propio LLM se le proporcionan herramientas de llamada de funciones que le permiten decidir cuándo mover información entre estos niveles, por ejemplo, guardar hechos importantes en almacenamiento a largo plazo, recuperar información pasada relevante o editar su propia memoria central. Este comportamiento de autoedición es lo que permite a los agentes mantener un estado coherente y en evolución a lo largo de conversaciones o documentos largos que superan con creces una sola ventana de contexto. El marco está dirigido a desarrolladores que crean agentes conversacionales que necesitan memoria persistente de los usuarios y de interacciones anteriores, así como a aquellos que trabajan en análisis de documentos sobre corpus demasiado grandes para caber en contexto. Al gestionar la memoria de recuerdo, el almacenamiento de archivo y un contexto de trabajo, MemGPT permite agentes que pueden hacer referencia a detalles de mucho antes en una interacción sin que el desarrollador tenga que ingeniar manualmente canalizaciones de recuperación para cada caso. MemGPT funciona tanto con modelos propietarios como los de OpenAI como con modelos abiertos alojados localmente, e integra bases de datos vectoriales y otros backends de almacenamiento para persistir la memoria entre sesiones. El proyecto evolucionó más tarde y está estrechamente asociado con Letta, una empresa y plataforma que continúa desarrollando los conceptos de agente con estado subyacentes, ofreciendo un servidor y herramientas en torno a las ideas originales. Sus principales fortalezas son la claridad conceptual y un patrón concreto y reutilizable para la memoria a largo plazo que va más allá de la generación aumentada de recuperación naive. Los compromisos son típicos de los marcos de agentes: el bucle de memoria de autoedición depende en gran medida de la confiabilidad de la llamada a funciones del modelo, que puede variar con modelos más pequeños o locales, y los pasos adicionales de gestión de memoria añaden latencia y sobrecarga de tokens. Como proyecto de código abierto en evolución, su nombre, APIs y ecosistema circundante han cambiado con el tiempo, lo que puede hacer que la documentación y el versionado sean un objetivo en movimiento.