MemGPTOkvir koji LLM-ovima daje dugoročnu memoar i samodređenu kontekst izvan izričito ograničenih tokena

MemGPT je otvoren izvorni okvir za razvoj, koji je dizajniran da riješi jedan od osnovnih ograničenja velikih jezičkih modela: njihov fiksni okvir konteksta. Poreklom iz istraživanja na UC Berkeley, projekt je uveden pojam o tome kako je LLM-ov ograničen kontekst kao da ga je sustav operativnog sustava upravlja kao ograničeno fizičko memorije, koristeći strančanje i hijerarhijske nivoe memorije kako bi modelima dao izgled velikog, trajnog prostora memorije. Podjela na osnovi operacijskog sustava. MemGPT razlikuje između unutarnje memorije u kontekstu (tokeni trenutno u prozoru modela za izricanje), te spremnika koji se nalaze van konteksta. LLM je općeniti pristupi koji omogućuju pravilno odlučivanje o prijenosu informacija između ove dvije nivoa – npr., spremanje važnih činjenica u dugoročni spremnik, preuzimanje relevantnih prošle informacija ili uređivanje vlastite memorije. Ovakva samoupravljanja ponašanja omogućava agentima održavanje koherentnog, dinamičanog stanja kroz duge rasprave ili dokumenate koji su značajno izvan jedne prozorske stranice. Okvir je namijenjen razvojačima koji tvore konverzaione agenete koji potrebne trajnu memoriju korisnika i prijeđašnjih interakcija, te onima koji rade na analizi dokumenata preko korpusa koji za sebe ne može obuhvatiti u kontekst. Upravljanjem spremištem pamćenja, arhivalnim spremanjem i radnim kontekstom, MemGPT omogućava agente koji mogu referirati detalje iz davnijih dijelova interakcije bez da razvojač mora samonamjerno dizajnirati pipeline za povlasticu za svaki slučaj. MemGPT sarađuje s oba vlasnička modela kao i te koji dolaze iz otvorenog izvora kao što su oni iz OpenAI, i lokalno hostirane, otvorene modele; integriše se i s bazo podataka vektora i drugi servisi pohrane da bi trajno čuvala memoriju između sesija. Projekat kasnije evoluiranje i bavi se i s Letta, tvrtkom i platformom koje nastavljaju razvoj temeljnih koncepata stateful-agenta, nudeći server i podršku oko originalnih ideja. Glavnaja prednost ovog sustava je konceptualna jasnoća i konkretni, reusabilni šablon za dugoročnu memoriju koji premašuje pojednostavljenu vraćanje-augmentirano generiranje. Trošak kompenzacija je tipičan za okvire agenata: sama uređivanja memorije petlja izuzetno zavisi od pouzdanosti poziva funkcija modela, koji može varirati sa manjim ili lokalnim modelima, te dodatni koraci u upravljanju memorijom dodaju kasnost i tokenovska preteža. Kao što se sustav razvija izvan izvore otvorenog koda, ime, API-ji i okolišnu ekosustav su se mijenjali u toku vremena, što može učiniti dokumentaciju i verzioniranje nepotporanim ciljem.