MemGPTפרקטיקה של Framework שמעניק לLLMs אוטונומי-מנוהל זיכרון ארוך-טווח ותווך-שיחה מעבר לגבלות token קבועים

MemGPT הוא מסגרת קוד פתוח שנועדה להתמודד עם אחת המגבלות הבסיסיות של מודלים גדולים של שפה: חלון ההקשר הקבוע שלהם. במקור ממחקר ב‑UC Berkeley, הפרויקט הציג את הרעיון של טיפול בהקשר המוגבל של LLM כמו שמערכת הפעלה מנהלת זיכרון פיזי מוגבל, באמצעות paging ושכבות זיכרון היררכיות כדי לתת למודלים מראה של זיכרון הרבה יותר גדול ומתמשך. הגישה המרכזית שואלת ישירות מהתכנון של מערכות הפעלה. MemGPT מבחינה בין זיכרון בתוך‑הקשר (הטוקנים שנמצאים כרגע בחלון הפקודה של המודל) לבין אחסון חיצוני שמאוחסן מחוץ להקשר. ה-LLM עצמו מקבל כלי קריאה לפונקציות המאפשרים לו להחליט מתי להעביר מידע בין השכבות — למשל, לשמור עובדות חשובות לאחסון ארוך‑טווח, לאחזר מידע רלוונטי מהעבר, או לערוך את הזיכרון הליבה שלו. התנהגות עריכה עצמית זו היא שמאפשרת לסוכנים לשמר מצב קוהרנטי ומתפתח לאורך שיחות ארוכות או מסמכים שהיקפם חורג בהרבה מחלון הקשר יחיד. המסגרת מכוונת למפתחים שבונים סוכני שיחה הדורשים זיכרון מתמשך של משתמשים ואינטראקציות קודמות, וכן לאלה שעובדים על ניתוח מסמכים על פני קורפוסים גדולים מדי מכדי להתאים להקשר. על ידי ניהול זיכרון זכירה, אחסון ארכיוני והקשר עבודה, MemGPT מאפשרת לסוכנים להתייחס לפרטים משלב מוקדם בהרבה של אינטראקציה מבלי שהמפתח יצריך תכנון ידני של צינוריות אחזור לכל מקרה. MemGPT עובדת עם מודלים קנייניים כגון אלו של OpenAI וגם עם מודלים פתוחים המתארחים מקומית, ומשתלבת עם מאגרי וקטורים ומקורות אחסון אחרים כדי לשמר זיכרון בין סשנים. הפרויקט התפתח מאוחר יותר והפך להיות קשור באופן הדוק ל‑Letta, חברה ופלטפורמה שממשיכים לפתח את הקונספטים של stateful‑agent, ומציעים שרת וכלי פיתוח סביב הרעיונות המקוריים. החוזקות המרכזיות שלו הן בהירות מושגית ותבנית קונקרטית, ניתנת לשימוש חוזר לזיכרון ארוך‑טווח שחורגת מהדור המוגבר באחזור הפשוט. ההקרעות הן טיפוסיות למסגרות סוכנים: לולאת הזיכרון המתעדכנת עצמית מתבססת במידה רבה על אמינות קריאת הפונקציות של המודל, שיכולה להשתנות עם מודלים קטנים יותר או מודלים מקומיים, והשלבים הנוספים לניהול הזיכרון מוסיפים latency ועלייה ב‑token overhead. כפרויקט קוד פתוח מתפתח, שמו, ה‑API והאקו‑סיסטם שמסביבו השתנו עם הזמן, מה שעלול להפוך את התיעוד והגרסאות למטרה נעה.