MemGPTFramework zapewniający LLM możliwość długoterminowej pamięci i samoobsługowego kontekstu wykraczającego poza ustalone ograniczenia tokenów

MemGPT to otwarty framework zaprojektowany z myślą o rozwiązaniu jednego z podstawowych ograniczeń dużych modeli językowych: ich ustalonego okna kontekstowego. Powstały w wyniku badań na Uniwersytecie Kalifornijskim w Berkeley, projekt wprowadził koncepcję traktowania ograniczonego kontekstu LLM jak system operacyjny zarządzający ograniczoną pamięcią fizyczną, wykorzystując strony i hierarchiczne poziomy pamięci, aby dać modelom pozory znacznie większej, trwałej pamięci. Podstawowe podejście zapożyczono bezpośrednio z projektowania systemów operacyjnych. MemGPT rozróżnia pamięć w kontekście (tokeny obecnie w oknie podpowiedzi modelu) i zewnętrzne przechowywanie poza kontekstem. Sam model LLM otrzymuje narzędzia do wywoływania funkcji, które pozwalają mu zdecydować, kiedy przesunąć informacje między tymi poziomami — na przykład zapisywanie ważnych faktów w pamięci długoterminowej, pobieranie odpowiednich informacji z przeszłości lub edycja własnej pamięci podstawowej. To samoedytujące się zachowanie pozwala agentom na utrzymanie spójnego, ewoluującego stanu w długich rozmowach lub dokumentach, które znacznie przekraczają pojedyncze okno kontekstowe. Framework jest skierowany do deweloperów budujących agentów konwersacyjnych, którzy potrzebują trwałej pamięci użytkowników i poprzednich interakcji, a także tych, którzy pracują nad analizą dokumentów w korpusach zbyt dużych, aby zmieścić się w kontekście. Zarządzając pamięcią wywotową, archiwalnym przechowywaniem i kontekstem roboczym, MemGPT umożliwia agentom, którzy mogą odwoływać się do szczegółów z wcześniejszych interakcji bez konieczności ręcznego konstruowania kanałów odzyskiwania danych w każdym przypadku. MemGPT współpracuje zarówno z modelami własnościowymi, takimi jak te z OpenAI, jak i lokalnie hostowanymi modelami otwartymi, oraz integruje się z bazami danych wektorowych i innymi zapleczami pamięci masowej, aby zachować pamięć między sesjami. Projekt ten rozwinął się i jest ściśle związany z firmą Letta, która kontynuuje rozwój podstawowych koncepcji agentów stanowych, oferując serwer i narzędzia wokół oryginalnych pomysłów. Jego głównymi zaletami są klarowność koncepcji i konkretny, wielokrotnego użytku wzorzec długoterminowej pamięci, który wykracza poza naiwne generowanie wspomagane odzyskiwaniem. Kompromisy są typowe dla frameworków agentów: pętla samoedytującej się pamięci silnie zależy od niezawodności wywoływania funkcji modelu, która może się różnić w przypadku mniejszych lub lokalnych modeli, a dodatkowe kroki zarządzania pamięcią dodają opóźnienia i nadmiar tokenów. Jako ewoluujący projekt open-source, jego nazewnictwo, API i otaczający ekosystem zmieniły się z czasem, co może spowodować, że dokumentacja i wersjonowanie staną się ruchomym celem.