MemGPTOkvir, ki LLM-om omogoča dolgoročni spomin in samostojno upravljanje konteksta prek fiksnih omejitev žetonov

MemGPT je odprtokodni framework, zasnovan za reševanje ene od temeljnih omejitev velikih jezikovnih modelov: njihovega fiksnega okna konteksta. Iz raziskav na Univerzi v Kaliforniji, Berkeley, je projekt predstavil idejo, da se omejen kontekst LLM‑jev obravnava kot operacijski sistem upravlja omejen fizični pomnilnik, s straničenjem in hierarhičnimi ravnmi pomnilnika, kar modelom omogoča videz veliko večjega, trajnega pomnilnika. Osnovni pristop izhaja neposredno iz zasnove operacijskih sistemov. MemGPT razlikuje med spominom v kontekstu (žetoni, ki so trenutno v oknu poziva modela) in zunanjo shrambo, ki je izven konteksta. Sam LLM je opremljen z orodji za klicanje funkcij, ki mu omogočajo, da sam odloči, kdaj premikati informacije med temi nivoji — na primer, shranjevati pomembna dejstva v dolgoročno shrambo, pridobivati relevantne pretekle informacije ali urejati svoj osnovni spomin. To samourejevalno vedenje je tisto, kar agentom omogoča ohranjanje koherentnega, razvijajočega se stanja skozi dolge pogovore ali dokumente, ki daleč presegajo eno samo okno konteksta. Okvir je namenjen razvijalcem, ki ustvarjajo konverzacijske agente, ki potrebujejo trajni spomin na uporabnike in prejšnje interakcije, ter tistim, ki delajo na analizi dokumentov v korpusih, ki so preveliki, da bi jih bilo mogoče vključiti v kontekst. Z upravljanjem spomina za priklic, arhivskega shranjevanja in delovnega konteksta MemGPT omogoča agente, ki lahko sklicujejo na podrobnosti iz veliko prejšnjih delov interakcije, ne da bi razvijalec moral ročno konstruirati procese iskanja za vsak primer. MemGPT deluje tako z lastniškimi modeli, kot so tisti iz OpenAI, kot tudi z lokalno nameščenimi odprtokodnimi modeli, in se integrira z vektorskimi bazami podatkov ter drugimi shranjevalnimi viri, da ohranja spomin med sejami. Projekt se je kasneje razvil in je tesno povezan z Letto, podjetjem in platformo, ki nadaljuje razvoj osnovnih konceptov stanje‑agentov, ter nudi strežnik in orodja okoli izvirnih idej. Njen glavni prednosti sta konceptualna jasnost in konkreten, ponovno uporaben vzorec za dolgoročni spomin, ki presega naivno retrieval‑augmented generation. Kompromisi so tipični za agent frameworks: zanka samourejanja spomina močno temelji na zanesljivosti klicev funkcij modela, ki se lahko razlikuje pri manjših ali lokalnih modelih, dodatni koraki upravljanja spomina pa povečujejo zakasnitve in token overhead. Kot razvijajoči se open‑source projekt so njegovo poimenovanje, API‑ji in okolje okoli njega skozi čas spreminjali, kar lahko dokumentacijo in verzioniranje naredi gibljiv cilj.