MemGPTRāmzīme, kas sniedz LLM ilgtermiņa atmiņu un pašvaldītu kontekstu pāri fiksēto token limitiem

MemGPT ir atvērtā koda rāmzīme, kas izstrādāta, lai risinātu vienu no lielajiem valodas modeļu pamata ierobežojumiem: fiksēto kontekstu. Projektā, kas sākās UC Berkeley pētījumos, tika ieviesta ideja, ka LLM ierobežotā kontekstu var uzskatīt par operētājsistēmas pārvaldīto fizisko atmiņu, izmantojot lapu pārklāšanu (paging) un hierarhiskos atmiņas slāņus, lai modeliem radītu izskatu par daudz lielāku, pastāvīgu atmiņu. Galvenā pieeja tieši ņemoties no operētājsistēmas dizaina. MemGPT atšķiries starp in-context atmiņu (tūkšņiem tokeniem pašreizējā modela ieroņa) un ārējo glabātuvi, kas atrodas ārpus konteksta. LLM pašam tiek piešķirtas funkciju izsaukšanas rīki, kas ļauj tam izlemt, kad pārvietot informāciju starp šiem slāņiem — piemēram, svarīgu faktu saglabāšana ilgtermiņa glabātuvi, atgādināšana atbilstošu pagātnes informācijas vai pašas atmiņas rediģēšana. Šī pašrediģēšanas uzvedība ļauj agentiem uzturēt koherentāku, evolūcijas stāvokli ilgstošās sarunās vai dokumentos, kas pārsniedz vienu konteksta logu. Rāmzīme ir paredzēta izstrādātājiem, kas izstrādā sarunu agentus, kuriem ir nepieciešama pastāvīga lietotāju un iepriekšējo mijiedarbību atmiņa, kā arī tiem, kas strādā ar dokumentu analīzi pār lielu korpusu, kas pārsniedz konteksta limitu. Pārvaldot atmiņas atgādināšanu, arhīvošanu un strādājošo kontekstu, MemGPT ļauj agentiem, kas var atsaukties uz detalizētām informācijām no ievērojami agrākā laika brīdī, nevis izveidojot atsevišķas atgūšanas ķēdes katram gadījumam. MemGPT strādā gan ar patērējamu modeļiem, piemēram, OpenAI, gan lokāli izvietotiem atvērtajiem modeļiem, un tas integrējas ar vektoru datubāzēm un citiem glabātuves risinājumiem, lai saglabātu atmiņu starp sesijām. Projektā vēlāk attīstījās un ir cieši saistīts ar Lettu, uzņēmumu un platformu, kas turpina izstrādāt pamata stāvokļa agentu koncepciju, piedāvājot serveri un rīkus attiecībā pret sākotnējām idejām. Galvenie stiprie punkti ir konceptuālā skaidrība un konkrēts, atkārtoti lietojams paraugs ilgtermiņa atmiņai, kas pārsniedz vienkāršu atgūšanas papildināšanas ģenerēšanu. Kompromisi ir tipiski agentu rāmzīmju: pašrediģēšanas atmiņas cikls ir atkarīgs no modeļa funkciju izsaukšanas uzticamības, kas var mainīties ar mazākiem vai lokāliem modeļiem, un papildu atmiņas pārvaldības soļi pievieno latence un tokenu pārmaksu. Kā attīstīgs atvērtā koda projekts, tā nosaukšana, API un apkārtējā ekosistēma ir mainījusies laika gaitā, kas var padarīt dokumentāciju un versiju pārvaldību kustīgu mērķi.