MemGPTФрендвърк, възпроизвеждащ долгосрочна памет на LLM и самоуправляваща се контекст, надвигаща се при фиксирани граници на токови лимити

MemGPT е отворен софтуерен фреймворк, създаден с цел да справи с една от основните ограничения на големите модела за език: техния фиксиран контекстен прозорец. Изходящо от изследователска работа в UC Berkeley, проектира разчита на гледната точка, че ограниченитеят контекст на модела е подобен на това, как операционния системат мени лошата физическа памет, използвайки мемория за страниците и иерархични нива за паметта, за да дава модела вид на много по-голяма, постоянна памет. Основният подход borrow-а ректно от дизайна на операционни системи. MemGPT различава между в-контекстова памет (токените, които се намират настоящо в прозорец на модела за подреда) и външна хранилище, държано отвън контекстът. Самия LLM има функционално извикване на инструментите, които му позволяват да решава кога да прехвърля информация между тези уровни – например запазвайки важни факти в дългосрочна памет или изваждайки въздействащи из тяхната минала информация, или редактирайки че си я ядрото му. Този саморозделителен поведение е това, което позволява агените да поддържат съответстващи, развиващи се състояния в продължение на бълнуващи диалози или документи които надминават дебелен контекстна прозорец. Фреймворк е предназначен за разработчици, създаващи конверSACTIONни агенти, които имат необходимост от постоянна памет за юзърсите и предишни взаимодействия, а също и тези, работещи върху анализа на документи над корпуса, които са твърде големи, за да бъдат включени в контекста на взаимодействието. С управление на паметта за връщане, архивиране също така и състоящи се в работен контекст, MemGPT позволява създаването на агенти, които могат да се отнасят към детайли от много ранен момент на взаимодействието без да подготвя сметките на разработчика за връщане за всеки случай отгоре отново. MemGPT работи и с собствените ѝ модели, като например от OpenAI, и с отворени модели, съхранявани локално, а също интегрира с вектори библиотеки и други бекънд системи за съхранение на памет между сесии. Пазарна версия по-късно е преработена и е свързана близко с Letta – компания и платформа, които продължават развитието на конценптите за агенти, имащи състояние и предлагат сървър и утилити върху основните идеи. Силните страни на MemGPT са концептуална яснота и конкретен, повторим обект за долгосрочна памет, който се стреми да надминава прости методи за разширяване на натрупваната генерация. Обменя се с типичните търговии, които представляват фреймворките на агентите: саморозписната цикъл на паметта се ползва тежко от функционалната надеждност на модела, която може да се изменя с по-малки или местни модели, и допълнителните стъпки за управление на паметта увеличават отлагането и превишенето на токените. В качеството на развиваем проект отворен за общността и на разрастване, неговото разграждане, API и околно създаване са променили наредбата над времето, което може да прави докладите и верзионът движещи се цели и обекти.