MemGPTFramework care oferă LLM-urilor memorie pe termen lung și context auto-gestionat dincolo de limitele fixe de token

MemGPT este un framework open-source conceput pentru a aborda una dintre constrângerile fundamentale ale modelelor mari de limbaj: fereastra lor fixă de context. Originând din cercetarea de la UC Berkeley, proiectul a introdus ideea de a trata contextul limitat al unui LLM ca un sistem de operare care gestionează memoria fizică limitată, folosind tehnici de paging și niveluri ierarhice de memorie pentru a oferi modelelor aparența unei memorii mult mai mari și persistente. Abordarea de bază împrumută direct din designul sistemelor de operare. MemGPT face distincția între memoria în-context (tokenurile actuale din fereastra de prompt a modelului) și stocarea externă deținută în afara contextului. Modelul LLM însuși primește instrumente de apelare a funcțiilor care îi permit să decidă când să mute informații între aceste niveluri - de exemplu, salvarea faptelor importante în stocarea pe termen lung, recuperarea informațiilor relevante din trecut sau editarea propriei memorii de bază. Acest comportament de auto-editare este ceea ce permite agenților să mențină o stare coerentă și în evoluție pe parcursul conversațiilor lungi sau al documentelor care depășesc cu mult o singură fereastră de context. Framework-ul este destinat dezvoltatorilor care construiesc agenți conversaționali care au nevoie de memorie persistentă a utilizatorilor și a interacțiunilor anterioare, precum și celor care lucrează la analiza documentelor pe corpusuri prea mari pentru a se potrivi în context. Prin gestionarea amintirilor de recall, stocarea de arhivă și un context de lucru, MemGPT permite agenților care pot face referire la detalii de mult mai devreme într-o interacțiune fără ca dezvoltatorul să inginerizeze manual conductele de recuperare pentru fiecare caz. MemGPT funcționează atât cu modele proprietare, cum ar fi cele de la OpenAI, cât și cu modele open-source găzduite local și se integrează cu baze de date vectoriale și alte back-end-uri de stocare pentru a persista memoria între sesiuni. Proiectul a evoluat ulterior și este strâns asociat cu Letta, o companie și platformă care continuă dezvoltarea conceptelor de agent cu stare, oferind un server și instrumente în jurul ideilor originale. Punctele sale forte principale sunt claritatea conceptuală și un model concret și reutilizabil pentru memoria pe termen lung care depășește generarea naivă augmentată cu recuperare. Compromisurile sunt tipice pentru framework-urile de agenți: bucla de memorie auto-editată se bazează puternic pe fiabilitatea apelării funcțiilor modelului, care poate varia cu modele mai mici sau locale, iar pașii suplimentari de gestionare a memoriei adaugă latență și suprasarcină de token. Ca proiect open-source în evoluție, denumirea, API-urile și ecosistemul său înconjurător s-au schimbat de-a lungul timpului, ceea ce poate face ca documentația și versiunea să fie o țintă în mișcare.