MemGPTMarco logico che concede agli LLM la memoria di lungo termine e un contesto auto-gestito al di là dei limiti dei token

MemGPT è un framework open-source progettato per affrontare uno dei vincoli fondamentali dei grandi modelli linguistici: la loro finestra di contesto fissa. Originato dalla ricerca presso l'UC Berkeley, il progetto ha introdotto l'idea di trattare il contesto limitato di un LLM come un sistema operativo gestisce la memoria fisica limitata, utilizzando la paginazione e livelli di memoria gerarchici per dare ai modelli l'apparenza di una memoria molto più grande e persistente. L'approccio fondamentale prende in prestito direttamente dalla progettazione dei sistemi operativi. MemGPT distingue tra memoria in contesto (i token attualmente nella finestra dei prompt del modello) e archiviazione esterna mantenuta all'esterno del contesto. L'LLM stesso viene fornito con strumenti per la chiamata di funzioni che gli consentono di decidere quando spostare le informazioni tra questi livelli, ad esempio, salvare fatti importanti nell'archiviazione a lungo termine, recuperare informazioni rilevanti dal passato o modificare la propria memoria centrale. Questo comportamento di auto-modifica è ciò che consente agli agenti di mantenere uno stato coerente ed evolutivo in conversazioni lunghe o documenti che superano di gran lunga una singola finestra di contesto. Il framework è rivolto agli sviluppatori che creano agenti conversazionali che richiedono una memoria persistente degli utenti e delle interazioni precedenti, nonché a coloro che lavorano sull'analisi di documenti su corpora troppo grandi per essere contenuti nel contesto. Gestendo la memoria di richiamo, l'archiviazione e un contesto di lavoro, MemGPT abilita agenti che possono fare riferimento a dettagli molto precedenti in un'interazione senza che lo sviluppatore debba ingegnerizzare manualmente pipeline di recupero per ogni caso. MemGPT funziona sia con modelli proprietari come quelli di OpenAI sia con modelli open ospitati localmente, e si integra con database vettoriali e altri back-end di archiviazione per persistere la memoria tra le sessioni. Il progetto è successivamente evoluto ed è strettamente associato a Letta, una società e piattaforma che continua a sviluppare i concetti di agente con stato sottostanti, offrendo un server e strumenti intorno alle idee originali. Le sue principali forze sono la chiarezza concettuale e un modello concreto e riutilizzabile per la memoria a lungo termine che va oltre la semplice generazione aumentata dal recupero. I compromessi sono tipici dei framework degli agenti: il ciclo di memoria auto-modificabile si basa fortemente sull'affidabilità della chiamata di funzione del modello, che può variare con modelli più piccoli o locali, e i passaggi aggiuntivi di gestione della memoria aggiungono latenza e sovraccarico di token. Come progetto open-source in evoluzione, la sua denominazione, le API e l'ecosistema circostante sono cambiati nel tempo, il che può rendere la documentazione e la gestione delle versioni un bersaglio in movimento.