MemGPTKeelevahe-muutav XLM-RL

MemGPT on avatud lähtekoodiga raamistik, mis on loodud ühe suure keelemudeli põhilise piirangu lahendamiseks: nende fikseeritud kontekstuaalse akna. UC Berkeley uurimistööst pärit projekt tutvustas ideed käsitleda LLM-i piiratud konteksti nagu operatsioonisüsteem haldab piiratud füüsilist mälu, kasutades lehekülgede ja hierarhiliste mälukihistute abil, et anda mudelitele palju suurema ja püsiva mälu illusioon. Põhiline lähenemine on laenatud otse operatsioonisüsteemi disainist. MemGPT eristab konteksti sees olevat mälu (mõlema praegused märgid mudeli viipakuvas) ja välist salvestust, mis hoitakse väljaspool konteksti. LLM-ile ise antakse funktsioonikõnede tööriistad, mis võimaldavad tal otsustada, millal liikuda teabe nende tasandite vahel – näiteks oluliste faktide salvestamine pikaajalisesse mällu, asjakohase varasemate teabe hankimine või oma põhimälu redigeerimine. See enese redigeerimise käitumine võimaldab agentidel säilitada sidusaid, muutuvate olekuid pika vestluse või dokumentide korral, mis ületavad märkimisväärselt ühte konteksti aknat. Raamistik on suunatud arendajatele, kes ehitavad vestlusagente, mis vajavad kasutajate ja varasemate interaktsioonide püsivat mälu, samuti neile, kes töötavad dokumentide analüüsiga korpustele, mis on liiga suured, et konteksti ära mahtuda. Mälu haldades, arhiveerides salvestust ja töökonteksti, võimaldab MemGPT agente, mis saavad viidata üksikasjadele palju varem interaktsioonis, ilma et arendaja peaks käsitsi konstrueerima otsingutorustikke igal üksikjuhtumil. MemGPT töötab nii patenteeritud mudelitega, nagu need on OpenAI-lt, kui ka kohalike hostitud avatud mudelitega, ning see integreerub vektorandmebaaside ja muude salvestusback-endidega, et säilitada mälu seansside vahel. Projekt arenes hiljem edasi ja on tihedalt seotud Letta-ga, ettevõtte ja platvormiga, mis jätkab alusolevate olekuga agendi kontseptsioonide arendamist, pakkudes serverit ja tööriistu ümber algsete ideede. Selle peamised tugevused on kontseptuaalne selgus ja konkreetne, taaskasutatav muster pikaajalise mälu jaoks, mis ületab naiivse taandamisega genereerimise. Kompromissid on tüüpilised agendi raamistikule: iseseeditava mälu silmus tugineb suuresti mudeli funktsioonikutsumise usaldusväärsusele, mis võib varieeruda väiksemate või kohalike mudelite puhul, ning lisamäluhalduse sammud lisavad latentsust ja tokeni üldkulud. Areneva avatud lähtekoodiga projektina on selle nimetus, API-d ja ümbritsev ökosüsteem aja jooksul muutunud, mis võib muuta dokumentatsiooni ja versioonimise liikuvaks sihtmärgiks.