MemGPTFramework, amely a hosszú távú memóriát és a modell által szabályozott kontextust biztosítja a fix token határok felett

A MemGPT nyílt forráskódú keretrendszer, amelynek a nagy nyelvi modellek egyik alapvető korlátját, állandó kontextusablakukat próbálja megszüntetni. A Berkeley-i Egyetem kutatásból származik, amely a modellek határait bontó ötlettel lépett a képbe: a korlátolt kontextust az operációs rendszerekkel hasonló módon kezeli, mint a rendszer a fizikai memória hiányát, bevetések és hierarchikus memóriát tartalmazó emléktárakkal kínálta a modelleknek a látszatot egy nagyobb, tartósabb memória felé. A MemGPT alapelvei közvetlenül az operációs rendszer tervezési megközelítését veszik át. A MemGPT megkülönbözteti az in-context memóriát (a modell aktuális kérésablakában található tokencsoportok) és az azzal kívüli, külső tárhelyet. Az LLM-nek funkcióhívási eszközök lettek közzétéve, amelyek lehetővé teszik, hogy ő maga döntse el, mikor milyen információt mozgasson ezek között a szintek között – például, hogy fontos tényeket rögzítsen rövidtávú tárolásban, vagy hogy releváns múltbeli információkat hozzon elő, vagy saját maga memóriáját frissítse. Ezek az önszabályozó viselkedések teszik lehetővé, hogy az ügynökök hosszú konverzáción vagy dokumentumban megszakítás nélkül összműködő és fejlődő állapotot tartsanak. Az alábbi példásan bemutatja ezeket az eszközei a folyamatot, és hogyan képes a modellek ellenőrzött módon újrajátszani a memória hozzáférését, miután a memória túllépte az eredeti kontextusablak határát. A keretrendszer fejlesztőknek szól, akik interaktív ügynököket kívánnak fejleszteni, amelyeknek szükségük van a felhasználók és az előző interakciók emlékezetre és arra is, akik a dokumentumok elemzésével foglalkoznak nagyobb korpuszokkal, mint amekkora az üzenetkörnyezet befogadására alkalmas. A memória visszaemlékezés, archivális tárolás és a működő kontextus irányításával, a MemGPT lehetővé teszi az ügynökök számára, hogy hivatkozzanak a korábbi interakciók eszközeihez a fejlesztőknek nincsenek képesek a visszavonási csatornák kivitelezésére minden esetben a kézi munka megengedésével. A MemGPT mind a saját fejlesztésű modelljeivel, mint például az OpenAInal, mind az olyan nyíltan elérhető modellekkel együttműködik, mint amilyeneket magukon a szervereken tárolnak. Integrál az vektorméretezési adatbázisokkal és egyéb tárolási háttérrel is, hogy az emlékezetet feldolgozás közben is megőrizze. A projekt később fejlődött, és szoros kötődést alakított ki a Letta céggel és платформой, amely folytatja a háttér-alapú stateful-agent konceptusok fejlesztését, és egy kiszolgálóval és eszközökkel járul hozzá az eredeti elképzelésekhez. Fő erősségei a koncepcionális érthetőség és egy konkrét, újrahasznosítható minta a hosszú távon tartó emlékezet számára, amely a naiv visszaváltót generáló kiegészítését messze meghaladja. Az árulkodók tipikusak az ügynök keretekhez: az önközléses emlék-ciklus nagyon nagymértékben azon múlik, hogy mennyire megbízható a modellel végzett függvényhívás, ami kisebb vagy helyi modell esetén változó lehet, és az emlékek menedzsmentjét kiegészítő lépések súlyosbítják a késleltetést és a token-felhasználást. A memGPT-től nyílt forráskódú, fejlődő projektnek tekintve a névadással, API-akkal és környezetével kapcsolatos ökoszisztémája az idővel változott, ami nehézzé tesz a dokumentációkat és a verziótlanítást egy mozgó céllá változtatja.