MemGPTFramewórking dává LLMs dlouhotrvající paměť a soběřízený kontext nad fixními tokenovými limity

MemGPT je open-source framework navržený k řešení jednoho ze základních omezení velkých jazykových modelů: jejich pevného kontextového okna. Tento projekt, původně vycházející z výzkumu na univerzitě UC Berkeley, představil myšlenku, že omezený kontext LLM lze zpracovávat podobně, jako operační systém spravuje omezenou fyzickou paměť. Tento přístup využívá stránkování a hierarchické úrovně paměti, aby modely získaly dojem mnohem větší a přetrvávající paměti. Jádro přístupu přímo vypůjčuje z návrhu operačního systému. MemGPT rozlišuje mezi kontextovou pamětí (tokeny aktuálně v okně výzvy modelu) a vnější úložiště držené mimo kontext. Samotnému LLM jsou poskytnuty nástroje pro volání funkcí, které mu umožňují rozhodnout, kdy přesunout informace mezi těmito úrovněmi — například uložení důležitých faktů do dlouhodobého úložiště, získání relevantních minulých informací nebo úpravu vlastní základní paměti. Toto samoupravovací chování umožňuje agentům udržovat souvislý, vyvíjející se stav napříč dlouhými konverzacemi nebo dokumenty, které daleko překračují jediné okno kontextu. Rámec je zaměřen na vývojáře, kteří vytvářejí konverzační agenty, kteří potřebují trvalou paměť uživatelů a předchozích interakcí, stejně jako ty, kteří pracují s analýzou dokumentů na korpusech, které jsou příliš velké, aby se vešly do kontextu. Díky správě vzpomínkové paměti, archivního úložiště a pracovního kontextu umožňuje MemGPT agenty, které mohou odkazovat na podrobnosti z mnohem dřívější interakce bez toho, aby vývojář musel ručně vytvářet vyhledávací potrubí pro každý případ. MemGPT pracuje jak s proprietárními modely, jako jsou ty od OpenAI, tak s lokálně hostovanými otevřenými modely, a integruje se s vektorovými databázemi a dalšími úložišti, aby zachoval paměť mezi sezeními. Projekt se později vyvinul a úzce se spojil s Letta, společností a platformou, která pokračuje ve vývoji základních konceptů stavových agentů a nabízí server a nástroje kolem původních nápadů. Jeho hlavní předností je koncepční jasnost a konkrétní, opakovaně použitelný vzorec pro dlouhodobou paměť, který překračuje naivní generování rozšířené o získávání informací. Obvyklé kompromisy jsou typické pro rámce agentů: samoeditující smyčka paměti silně závisí na spolehlivosti volání funkcí modelu, která se může lišit u menších nebo lokálních modelů, a další kroky správy paměti přidávají latenci a přetok tokenů. Jako vyvíjející se open-source projekt se jeho pojmenování, rozhraní API a okolní ekosystém časem měnily, což může způsobit, že dokumentace a verzování jsou pohyblivým cílem.