MemGPTFramework, ktorý LLM poskytuje dlhodobú pamäť a samovoľne spravovaný kontext nad rámec pevných limitov tokenov

MemGPT je open-source rámec navrhnutý na riešenie jednej z základných obmedzení veľkých jazykových modelov: ich pevného kontextového okna. Vyvinutý na základe výskumu na UC Berkeley, projekt priniesol myšlienku, že obmedzený kontext LLM spracúvame rovnako, ako operačný systém spravuje obmedzenú fyzickú pamäť, pomocou stránkovania a hierarchických úrovní pamäti, čím sa modelom dáva dojem oveľa väčšej, trvalej pamäti. Kľúčový prístup sa priamo čerpá z dizajnu operačných systémov. MemGPT oddeľuje pamäť v kontexte (tokeny momentálne v promptovom okne modelu) od externého úložiska uloženého mimo kontext. Model LLM dostane nástroje na volanie funkcií, ktoré mu umožňujú rozhodnúť, kedy presunúť informácie medzi týmito úrovňami – napríklad ukladať dôležité fakty do dlhodobej úložnice, získať relevantné informácie z minulosti alebo upraviť vlastnú jadrovú pamäť. Toto správanie samoúpravy umožňuje agentom zachovávať koherentný, vyvíjajúci sa stav počas dlhých konverzácií alebo dokumentov, ktoré presahujú jedno kontextové okno. Rámec je určený pre vývojárov, ktorí budujú konverzačných agentov, ktorí potrebujú trvalú pamäť o používateľoch a predchádzajúcich interakciách, ako aj pre tých, ktorí pracujú s analýzou dokumentov nad korpusmi, ktoré sú príliš veľké na umiestnenie v kontexte. Spravovaním pamäti na vyvolanie, archívneho úložiska a pracovného kontextu umožňuje MemGPT agentom odkazovať na detaily z mnohem skôr v interakcii bez toho, aby vývojár manuálne navrhol pipeline pre získavanie pre každý prípad. MemGPT funguje s oboma proprietárnymi modelmi, ako sú tie od OpenAI, a lokálne hostenými otvorenými modelmi, a integruje sa s vektorovými databázami a inými úložnými backendmi na trvalé uchovávanie pamäti medzi reláciami. Projekt neskôr prešiel evolúciou a je úzko spojený s Letta, spoločnosťou a platformou, ktorá pokračuje vo vývoji základných koncepcií stavebných agentov a ponúka server a nástroje okolo pôvodných myšlienok. Jeho hlavné silné stránky sú koncepčná jasnosť a konkrétny, znovu použiteľný vzor pre dlhodobú pamäť, ktorý prechádza nad rámec jednoduchého generovania doplneného vyhľadávaním. Kompromisy sú typické pre rámce agentov: slučka samoúpravy pamäťou silne závisí od spoľahlivosti volaní funkcií modelu, ktorá sa môže líšiť u menších alebo lokálnych modelov, a ďalšie kroky správy pamäti pridávajú latenciu a režim tokenov. Ako sa vyvíjajúci open-source projekt sa jeho názov, API a okolité ekosystémy menia v priebehu času, čo môže spôsobiť, že dokumentácia a verzionovanie sa stávajú pohyblivým cieľom.