MemGPTEstrutura que dá aos LLMs memória de longo prazo e contexto autogerenciado além dos limites de token fixos

MemGPT é uma estrutura de código aberto projetada para abordar uma das restrições fundamentais dos grandes modelos de linguagem: sua janela de contexto fixa. Originando-se de pesquisas na UC Berkeley, o projeto introduziu a ideia de tratar o contexto limitado de um LLM como um sistema operacional gerencia a memória física limitada, usando paginação e níveis de memória hierárquicos para dar aos modelos a aparência de uma memória muito maior e persistente. A abordagem central empresta diretamente do design do sistema operacional. MemGPT distingue entre memória no contexto (os tokens atualmente na janela de prompt do modelo) e armazenamento externo mantido fora do contexto. O próprio LLM é fornecido com ferramentas de chamada de função que permitem que ele decida quando mover informações entre essas camadas — por exemplo, salvar fatos importantes no armazenamento de longo prazo, recuperar informações relevantes do passado ou editar sua própria memória central. Esse comportamento de autoedição é o que permite que os agentes mantenham um estado coerente e evolutivo ao longo de conversas longas ou documentos que excedem muito uma única janela de contexto. A estrutura é destinada a desenvolvedores que estão construindo agentes conversacionais que precisam de memória persistente de usuários e interações anteriores, bem como aqueles que trabalham com análise de documentos em corpora grandes demais para caber no contexto. Ao gerenciar memória de recall, armazenamento de arquivo e um contexto de trabalho, o MemGPT permite que os agentes façam referência a detalhes de muito antes em uma interação sem que o desenvolvedor engenharia manualmente pipelines de recuperação para cada caso. O MemGPT funciona com modelos proprietários, como os da OpenAI, e modelos abertos hospedados localmente, e se integra a bancos de dados vetoriais e outros backends de armazenamento para persistir a memória entre sessões. O projeto mais tarde evoluiu e está intimamente associado à Letta, uma empresa e plataforma que continuam o desenvolvimento dos conceitos subjacentes de agente com estado, oferecendo um servidor e ferramentas em torno das ideias originais. As principais forças são a clareza conceitual e um padrão concreto e reutilizável para memória de longo prazo que vai além da geração aumentada de recuperação ingênua. Os trade-offs são típicos de estruturas de agente: o loop de memória de autoedição depende fortemente da confiabilidade de chamada de função do modelo, que pode variar com modelos menores ou locais, e as etapas adicionais de gerenciamento de memória adicionam latência e sobrecarga de token. Como um projeto de código aberto em evolução, seus nomes, APIs e ecossistema circundante mudaram ao longo do tempo, o que pode tornar a documentação e o versionamento um alvo em movimento.