MemGPTФреймворк, що надає LLM довгострокову пам'ять та самостійно керований контекст за межами фіксованих обмежень токенів

MemGPT — це фреймворк з відкритим вихідним кодом, призначений для вирішення однієї з фундаментальних обмежень великих мовних моделей: їхнього фіксованого вікна контексту. Походить від досліджень в Університеті Берклі, проект ввів ідею розглядати обмежений контекст LLM як операційну систему, що керує обмеженою фізичною пам'яттю, використовуючи сторінкування та ієрархічні рівні пам'яті, щоб дати моделям вигляд набагато більшої, постійної пам'яті. Основний підхід безпосередньо запозичує ідеї з дизайну операційної системи. MemGPT розрізняє між пам'яттю в контексті (токени, що зараз знаходяться у вікні підказки моделі) та зовнішнім сховищем, що знаходиться поза контекстом. Самій LLM надано інструменти виклику функцій, які дозволяють їй вирішувати, коли переміщати інформацію між цими рівнями — наприклад, зберігати важливі факти у довгострокове сховище, отримувати відповідну інформацію минулого чи редагувати власну основну пам'ять. Така поведінка, що самостійно редагується, дозволяє агентам підтримувати зв'язний, такий, що змінюється, стан протягом тривалих розмов або документів, які далеко перевищують одне вікно контексту. Фреймворк призначений для розробників, що будують розмовні агенти, яким потрібна постійна пам'ять користувачів та попередніх взаємодій, а також для тих, хто працює над аналізом документів за корпусами, які занадто великі, щоб поміститися в контексті. Керує пам'яттю відкликання, архівним сховищем та робочим контекстом, MemGPT дозволяє агентам посилатися на деталі з набагато раніше під час взаємодії без необхідності ручного проектування трубопроводів отримання для кожного випадку. MemGPT працює як із пропрієтарними моделями, такими як моделі від OpenAI, так і з локально розміщеними відкритими моделями, та інтегрується із векторними базами даних та іншими сховищами для збереження пам'яті між сеансами. Проект пізніше розвинувся та тісно пов'язаний із Letta, компанією та платформою, що продовжує розвиток основних концепцій Stateful-агентів, пропонуючи сервер та інструменти навколо вихідних ідей. Його основні переваги — концептуальна ясність та конкретний, багаторазово використовуваний шаблон для довгострокової пам'яті, що виходить за межі наївного отримання інформації, доповненого генерацією. Компроміси типові для фреймворків агентів: цикл пам'яті, що самостійно редагується, сильно залежить від надійності виклику функцій моделі, яка може змінюватися з меншими або локальними моделями, а додаткові кроки керування пам'яттю додають затримку та витрати токенів. Як такий, що розвивається, фреймворк з відкритим вихідним кодом, його найменування, API та навколишнє середовище змінювалися з часом, що може зробити документацію та версіонування рухомим цілями.