MemGPTRammeverk som gir LLM-er langtidshukommelse og selvstyrt kontekst utover faste tokenbegrensninger

MemGPT er et åpenkilde‑rammeverk designet for å løse en av de grunnleggende begrensningene til store språkmodeller: deres faste kontekstvindu. Opprinnelig fra forskning ved UC Berkeley introduserte prosjektet ideen om å behandle en LLMs begrensede kontekst som et operativsystem håndterer begrenset fysisk minne, ved å bruke paging og hierarkiske memory tiers for å gi modellene et inntrykk av et mye større, vedvarende minne. Kjerne‑tilnærmingen tar direkte i bruk prinsippene fra operativsystemdesign. MemGPT skiller mellom in‑context‑minne (tokenene som er i modellens promptvindu for øyeblikket) og ekstern lagring som holdes utenfor konteksten. Selve LLM-en får tildelt funksjonskall‑verktøy som lar den bestemme når den skal flytte informasjon mellom disse lagrene — for eksempel lagre viktige fakta til langtidslagring, hente relevant tidligere informasjon eller redigere sitt eget kjerne‑minne. Denne selvredigeringsoppførselen gjør det mulig for agenter å opprettholde en sammenhengende, evolverende tilstand på tvers av lange samtaler eller dokumenter som langt overskrider et enkelt kontekstvindu. Rammeverket er rettet mot utviklere som bygger samtalende agenter som trenger vedvarende minne om brukere og tidligere interaksjoner, samt de som jobber med dokumentanalyse over korpus som er for store til å passe inn i konteksten. Ved å håndtere gjenopplivningsminne, arkivlagring og en arbeidende kontekst, gjør MemGPT agenter i stand til å referere til detaljer fra langt tidligere i en interaksjon uten at utvikleren manuelt må bygge henterprosesser for hver enkelt sak. MemGPT fungerer med både proprietære modeller, som de fra OpenAI, og lokalt hostede åpne modeller, og det integrerer med vektordatabaser og andre lagringsbackends for å opprettholde minne mellom økter. Prosjektet har senere utviklet seg og er tett knyttet til Letta, et selskap og en plattform som fortsetter utviklingen av de underliggende stateful-agent-konseptene, og tilbyr en server og verktøy rundt de opprinnelige ideene. Hovedstyrkene er konseptuell klarhet og et konkret, gjenbrukbart mønster for langtidsminne som går utover naive retrieval-augmented generation. Kompromissene er typiske for agentrammeverk: den selvredigerende minneløkken er sterkt avhengig av modellens funksjonskallingspålitelighet, som kan variere med mindre eller lokale modeller, og de ekstra minnehåndteringsstegene legger til latens og token-overhead. Som et stadig utviklende open-source-prosjekt har navngivning, APIer og det omkringliggende økosystemet skiftet over tid, noe som kan gjøre dokumentasjon og versjonering til et bevegelig mål.