MemGPTKehys, joka antaa LLMeille pitkäaikaisen muistin ja itsenäisesti hallinnoidun kontekstin, joka ylittää kiinteät token-rajoitukset

MemGPT on avoimen lähdekoodin kehys, joka on suunniteltu vastaamaan yhtä suurten kielimallien perusrajoituksista: niiden kiinteää kontekstialuetta. UC Berkeleystä lähtöisin olevan tutkimuksen pohjalta projekti esitti idean käsitellä suuren kielimallin (LLM) rajoitettua kontekstia kuin käyttöjärjestelmä käsittelisi rajottua fyysistä muistia, käyttämällä sivutusta ja hierarkisia muistitilanteita antaakseen malleille illuusion paljon suuremmasta, pysyvästä muistista. Lähestymistapa on saanut suoran inspiraation käyttöjärjestelmien suunnittelusta. MemGPT erottaa kontekstimuistin (tällä hetkellä mallin kehotteessa olevat tokenit) ja kontekstin ulkopuolelle tallennetun ulkoisen muistin. Itse LLM:lle on annettu funktiokutsutyökaluja, joiden avulla se voi päättää, milloin siirtää tietoa näiden tasojen välillä — esimerkiksi tallentaa tärkeitä faktoja pitkäaikaistallennukseen, hakea relevanttia aiempaa tietoa tai muokata omaa ydinmuistiaan. Tämä itse muokkaava käyttäytyminen mahdollistaa agenttien ylläpitää koherentin, kehittyvän tilan pitkien keskustelujen tai asiakirjojen aikana, jotka ylittävät huomattavasti yhden kontekstikkunan. Kehyksen tavoitteena ovat kehittäjät, jotka rakentavat keskustelurobotteja, jotka tarvitsevat pysyvän muistin käyttäjistä ja aiemmista vuorovaikutuksista, sekä niitä, jotka työskentelevät asiakirjojen analyysin parissa suurten tekstimassojen kanssa, jotka eivät mahdu kontekstiin. Hallitsemalla palautusmuistia, arkistotallennusta ja työkonteksteja, MemGPT mahdollistaa agentit, jotka voivat viitata yksityiskohtiin paljon aiemmin vuorovaikutuksessa ilman, että kehittäjä joutuu manuaalisesti rakentamaan hakuputkia jokaiselle tapaukselle. MemGPT toimii sekä proprietaaristen mallien, kuten OpenAI:n tarjoamat, että paikallisesti hostettujen avoimien mallien kanssa, ja se integroituu vektori-tietokantoihin ja muihin tallennustukeihin istuntojen välisen muistin säilyttämiseksi. Projekti kehittyi myöhemmin ja liittyy läheisesti Letta-nimiseen yritykseen ja alustaan, joka jatkaa taustalla olevien tilallisten agenttien konseptien kehittämistä, tarjoten palvelimen ja työkaluja alkuperäisten ideoiden ympärille. Sen päävahvuuksia ovat käsitteellinen selkeys ja konkreettinen, uudelleenkäytettävä kuvio pitkän aikavälin muistille, joka ylittää naiivin hakuaugmented-generaation. Kaupankäynnin tavalliset kompromissit ovat tyypillisiä agentti-kehysille: itseeditoiva muistokehä luottaa voimakkaasti mallin toimintopuhelun luotettavuuteen, joka voi vaihdella pienemmillä tai paikallisilla malleilla, ja lisämuistinhallinnan vaiheet lisäävät latenssia ja merkkien ylitystä. Kehittyvänä avoimen lähdekoodin projektina sen nimeäminen, API:t ja ympäröivä ekosysteemi ovat muuttuneet ajan saatossa, mikä voi tehdä dokumentaatiosta ja versioinnista liikkuvan kohteen.