MemGPTFramework dat LLMs langetermijngeheugen en zelfbeheerd context biedt, buiten vaste tokenlimieten om

MemGPT is een open-sourceframework dat is ontworpen om een van de fundamentele beperkingen van grote taalmodellen aan te pakken: hun vaste contextvenster. Het project, dat zijn oorsprong vindt in onderzoek aan de UC Berkeley, introduceerde het idee om de beperkte context van een LLM te behandelen zoals een besturingssysteem beperkte fysieke geheugen behandelt, door gebruik te maken van paging en hiërarchische geheugentiers om modellen de indruk te geven van een veel groter, persistent geheugen. De kernbenadering is rechtstreeks ontleend aan besturingssysteemontwerp. MemGPT maakt onderscheid tussen in-contextgeheugen (de tokens die momenteel in het promptvenster van het model staan) en externe opslag die buiten de context wordt gehouden. Het LLM zelf krijgt functie-aanroeptools die het laten beslissen wanneer informatie tussen deze tiers moet worden verplaatst — bijvoorbeeld, het opslaan van belangrijke feiten in langetermijngeheugen, het ophalen van relevante informatie uit het verleden, of het bewerken van zijn eigen kerngeheugen. Dit zelfbewerkende gedrag stelt agents in staat om coherente, evoluerende toestand te behouden over lange gesprekken of documenten die ver buiten een enkel contextvenster reiken. Het framework is gericht op ontwikkelaars die conversatie-agents bouwen die een persistent geheugen nodig hebben van gebruikers en eerdere interacties, evenals die welke werken aan documentanalyse over corpora die te groot zijn om in context te passen. Door het beheer van herinneringsgeheugen, archiefopslag en werkkontekst, stelt MemGPT agents in staat om details uit veel eerder in een interactie te refereren zonder dat de ontwikkelaar handmatig retrievalpijplijnen voor elk geval hoeft te ontwerpen. MemGPT werkt met zowel propriëtaire modellen zoals die van OpenAI als met lokaal gehoste open modellen, en het integreert met vector-databases en andere opslagbackends om geheugen tussen sessies te behouden. Het project is later geëvolueerd en nauw verbonden met Letta, een bedrijf en platform dat de ontwikkeling van de onderliggende stateful-agentconcepten voortzet, en biedt een server en tooling rond de originele ideeën. De belangrijkste sterke punten zijn conceptuele duidelijkheid en een concreet, herbruikbaar patroon voor langetermijngeheugen dat verder gaat dan naïeve retrieval-augmented generatie. De afwegingen zijn typisch voor agentframeworks: de zelfbewerkende geheugenlus vertrouwt sterk op de betrouwbaarheid van de functie-aanroep van het model, die kan variëren met kleinere of lokale modellen, en de extra geheugenbeheerstappen voegen latentie en tokenoverhead toe. Als een evoluerend open-sourceproject hebben de naamgeving, APIs en omliggende ecosysteem in de loop der tijd verschoven, wat kan maken dat documentatie en versiebeheer een bewegend doel zijn.