MemGPTSuderinantis LLM sistemų ilgaamžė galimybę ir self-managed konteksto valdymo funkcijas už fiksuotų tokenų ribų

MemGPT yra atvirojo kodo framework, skirtas leisti didžiųjų kalbos modelių vienintelę svarbų ribą: fiksuotą konteksto langelį. Prieš tai išsivysvius iš UC Berkeley tyrimo, projektas įvestais pagalbėjo idėja tirti LLM fiksuoto konteksto kaip operacinė sistema valdo fizinių atminties ribos, naudojantis puslapine ir hierarchine atminties sluoksniais, kad modeliams atsirastų daug didesnė, išlaikyti atmintis. Priešingųjų sistemų principas pagrindžiamas tiesiog iš operacinės sistemos dizaino. MemGPT atskiria atmintį kontekste (tokenus, kurie šiuo metu yra modelio pranešimo langas) ir įrengimų būstą, kuris yra už konteksto ribų. Iki pat LLM suteikiamos funkcijų-pavadų priemonės, kurios leidžia modeliui sprendi, kada keisti informaciją tarp šių sluoksnį: pavyzdžiui, sakydamas svarbias faktus, kaip trumpalaikę atmintį į ilgalaikę, atgaivinantis atitikmenis anksčiau gautą informaciją, arba redaguojantis savo brandos atmintį. Tai savo redagavimo elgsena leidžia agentams išlaikyti bendrus, evoliucionuojančius būsenas šešiolikos pokalbių trukmės ar dokumentų, kurios kankinama virš vienos konteksto langelio ribų. Šis framework skirtas programavimo specialistams, kurie kūrė konversacinės agentų, kuriems reikia naudotojų ir ankstesnių interakcijų atminties. Jis taip pat skirtas tiesiogėms, kurios darbuojasi dokumentų analize daugumomis duomenų masyvai, kurių dydis nepriima konteksto. Naudodamiesi prisiminimo atmintimi, archyvinio saugojimo bei veikiančiu kontekstu, MemGPT leidžia agentų, kurie gali nusiuntinti detalės beveik iš anksti prasidėjusios interakcijos, be programuotojo atliekantis kasinis prisiminimo sąrankos užduotis kiekvieno atvejo. MemGPT veikia su nuosavybiniais modeliais, tokiais kaip tie, kurie yra iš OpenAI, ir savaitalomiems atstovavims, kaip, pvz., atliekami, bei suveikia su vektorių duomenų bazėmis ir kitais saugojimo priemonėmis, kad prisimintų prisiminimus tarp sesijų. Vėliau projektas buvo išplėstas, ir jis labai susijęs su Letta, bendrove ir platforma, kurios toliau tokių valdymo agentų sąvokų plėtoja, pasiūlės servery ir priemonių aplinkybes apie originalias idėjas. Jo pagrindiniai iškilimai yra sąvokos aiškiumas ir atliekama, atkartojama tikslių patikrinimų tvarkelė, kuri leidžia ilgalaikį atmintį, besitęsiuojanti nuo paprasta atkėlimo prieaugtinės generacijos. Prekybinių priemonių palyginimais, šį kartą agento struktūrų išmanių sąveikų vieneto, sietas savaip pakeičiamoji atminties ciklas labai priklauso modelio funkcijos pavadavimo tvarkymo patikimumui, kas gali keistis smulkesnių ar vietinės modelių atveju ir įrengiamų atminties tvarkymo žingsnių papildymas perdaug prieštarauja greičui ir tokenu peržiūrai. Atkrovų ir šaltinio atvirojo kodo projekto pradžioje, jo pavadinimo, API, ir aplinkos ekosistemos vystymasis per laiką, galėjo padaryti dokumentaciją ir versijavimą judančiu tikslu.