Korábbi csata · 2024-12-22 UTC
Agent Development Leszámolás — 2024. december 22.
A(z) Agent Development kategóriából. 15 jelölés elhelyezve 4 versenyző között. Vocode szerezte meg a koronát.
Végeredmény
A felállás
A versenyzők
Minden eszköz profilja, amely ebben a csatában versenyzett, a végső pontszámuk szerint rangsorolva.
Vocode
Nyílt forráskódú keretrendszer valós idejű hangalapú MI-ügynökök építésére beszédfelismerésből, LLM-ből és szöveg-beszéd összetevőkből
A Vocode egy nyílt forráskódú könyvtár az ingyenes hangalapú párbeszéd AI alkalmazások építéséhez. Nyújtja a szükséges csatornat a hangfelismerés, a nagy méretű nyelvi modellek és a beszédszintheszis összekapcsolásához, egyetlen valós időben futó áramkörbe tömörítve. Így az fejlesztők képesek az ügynököket megépíteni, amelyek képesek meghallgatni, érvelni és beszélni telefonhívásokon, web socketeken, vagy a lokalizált hangfelvételeken át. Főként egy Python SDK formájában osztják szét a keretet, a hangsáv-fújás irányában fókuszálva arra, hogy a beszélgetések reagáltaként érzékeljék az embereket, szemben a hosszú késedelemmel járó fordulatokkal. Kezelése érdekében az olyan hangsúlyozással járó üzemeltetési gondokat old meg, mint a bárgással vagy az elállással kapcsolatos feladatok, az átmeneti tárolás és az élő átalakítás, valamint az általános írógép, a logika és a szimulátor közötti visszajelzés szinkronizálása. A Vocode modulárisan épített és a szállító ágynak idegen. Integrálhat olyan harmadik féltől származó szolgáltatásokat egyes stádiumokban a folyamaton – például Deepgram és AssemblyAI feliratolási szolgáltatók, a LLM-k a szállító OpenAIBól, valamint a szöveg-és-hangszinkronizáció enginek a ElevenLabs, Azure, és mások. A fejlesztői cserélhetik a komponenseket, attól függően, hogy melyik költség, késleltetés és hangminőség-igényzetektől függő a költség. A legelterjedtebb felhasználási esetek közé tartozik a telefónia: A Vocode támogatja az ilyen szolgáltatókkal való hívások történő be- és kiküldését, például a Twilio-n keresztül, ami megnehezíti az automatizált külső és bejövő hívások, hangasszisztensek és olyan ügyfélszolgálati telefonszámok létrehozását is, amelyek a vevőkkel kommunikálnak. Támogatja a böngészőben és lokális mikrofonon zajló beszélgetéseket is az in-app hangélményhez. Mivel nyílt forráskódú és önmegvalósító, a Vocode az olyan csapatok felé néz, amelyeknek irányítást szeretnének gyakorolni a rájuk kerülő technológián és képeseknek lenniük a felügyelt ügynök viselkedésének szabályzására, ehelyett egy teljesen kezelés alatt álló zárt platformra támaszkodva. Az azonban a következménye, hogy a termelési szintű hangügynökök építése továbbra is megköveteli a hozzáadással és az externális transzkripciós, LLM és beszédfelismerési szolgáltatások megfizetését a késések és a konverzációnapló szabályzásakor. Ebben az élénkülő hangvezérlő eszközökkel együtt fut a kezelhető platformok és más keretei; a fő differenciáló tulajdonsága az, hogy a nyílt forráskódú, összerendelhető módszertani megközelítés adja a fejlesztőknek a csövének belső részejéhez közvetlen hozzáférést.
Kritériumok szétosztása
- Valós idejű streaming hangügynök pipeline
- Több STT, LLM és TTS szolgáltató integrációja
- Telefonhívás támogatás Twilio és hasonló telekommunikációs szolgáltatásokon keresztül
- Megszakítás (barge-in) kezelése
- Python SDK egyedi ügynökök építésére
- Támogatás böngészőalapú és helyi mikrofonos beszélgetésekhez
MemGPT
Framework, amely a hosszú távú memóriát és a modell által szabályozott kontextust biztosítja a fix token határok felett
A MemGPT nyílt forráskódú keretrendszer, amelynek a nagy nyelvi modellek egyik alapvető korlátját, állandó kontextusablakukat próbálja megszüntetni. A Berkeley-i Egyetem kutatásból származik, amely a modellek határait bontó ötlettel lépett a képbe: a korlátolt kontextust az operációs rendszerekkel hasonló módon kezeli, mint a rendszer a fizikai memória hiányát, bevetések és hierarchikus memóriát tartalmazó emléktárakkal kínálta a modelleknek a látszatot egy nagyobb, tartósabb memória felé. A MemGPT alapelvei közvetlenül az operációs rendszer tervezési megközelítését veszik át. A MemGPT megkülönbözteti az in-context memóriát (a modell aktuális kérésablakában található tokencsoportok) és az azzal kívüli, külső tárhelyet. Az LLM-nek funkcióhívási eszközök lettek közzétéve, amelyek lehetővé teszik, hogy ő maga döntse el, mikor milyen információt mozgasson ezek között a szintek között – például, hogy fontos tényeket rögzítsen rövidtávú tárolásban, vagy hogy releváns múltbeli információkat hozzon elő, vagy saját maga memóriáját frissítse. Ezek az önszabályozó viselkedések teszik lehetővé, hogy az ügynökök hosszú konverzáción vagy dokumentumban megszakítás nélkül összműködő és fejlődő állapotot tartsanak. Az alábbi példásan bemutatja ezeket az eszközei a folyamatot, és hogyan képes a modellek ellenőrzött módon újrajátszani a memória hozzáférését, miután a memória túllépte az eredeti kontextusablak határát. A keretrendszer fejlesztőknek szól, akik interaktív ügynököket kívánnak fejleszteni, amelyeknek szükségük van a felhasználók és az előző interakciók emlékezetre és arra is, akik a dokumentumok elemzésével foglalkoznak nagyobb korpuszokkal, mint amekkora az üzenetkörnyezet befogadására alkalmas. A memória visszaemlékezés, archivális tárolás és a működő kontextus irányításával, a MemGPT lehetővé teszi az ügynökök számára, hogy hivatkozzanak a korábbi interakciók eszközeihez a fejlesztőknek nincsenek képesek a visszavonási csatornák kivitelezésére minden esetben a kézi munka megengedésével. A MemGPT mind a saját fejlesztésű modelljeivel, mint például az OpenAInal, mind az olyan nyíltan elérhető modellekkel együttműködik, mint amilyeneket magukon a szervereken tárolnak. Integrál az vektorméretezési adatbázisokkal és egyéb tárolási háttérrel is, hogy az emlékezetet feldolgozás közben is megőrizze. A projekt később fejlődött, és szoros kötődést alakított ki a Letta céggel és платформой, amely folytatja a háttér-alapú stateful-agent konceptusok fejlesztését, és egy kiszolgálóval és eszközökkel járul hozzá az eredeti elképzelésekhez. Fő erősségei a koncepcionális érthetőség és egy konkrét, újrahasznosítható minta a hosszú távon tartó emlékezet számára, amely a naiv visszaváltót generáló kiegészítését messze meghaladja. Az árulkodók tipikusak az ügynök keretekhez: az önközléses emlék-ciklus nagyon nagymértékben azon múlik, hogy mennyire megbízható a modellel végzett függvényhívás, ami kisebb vagy helyi modell esetén változó lehet, és az emlékek menedzsmentjét kiegészítő lépések súlyosbítják a késleltetést és a token-felhasználást. A memGPT-től nyílt forráskódú, fejlődő projektnek tekintve a névadással, API-akkal és környezetével kapcsolatos ökoszisztémája az idővel változott, ami nehézzé tesz a dokumentációkat és a verziótlanítást egy mozgó céllá változtatja.
Kritériumok szétosztása
- Szintű kontextuskezelés és külső memóriakezelés
- Önálló főmemória-szerkesztés funkcióhívások segítségével
- Archíválás és visszaemlékezési memória-eltárolás
- Vektortáblarendszer-integráció a visszafelé megkereséshez
- Több LLM-háttérrendszer támogatása
- Állapotállapotú társalgási ügynök
Letta AI
Nyílt forráskódú platform a felállható AI-ügynökök létrehozásához hosszú távú emlékezettel és előrehaladott gondolkodással.
A Letta AI egy nyílt forráskódú platform, amelyet azoknak a fejlesztőknek és kutatóknak hoztak létre, akik kreatív AI-ügynököket szeretnének kifejleszteni. Ezek az ügynökök hosszú távú emlékezettel és előrehaladott gondolkodási képességekkel rendelkeznek. A platform lehetővé teszi az ügynökök létrehozását, amelyek képesek azonosítani, megemlékezni az interakciók eredményeiről és hozzájárulni a bonyolultabb döntéshozási folyamatokhoz. Ez különösen hasznos olyan alkalmazásokban, amelyekben a szolgáltatónak idővel tanulnia kell a felhasználói tapasztalatok alapján és megfelelően reagálnia kell.
Kritériumok szétosztása
- Felállható AI-ügynökök
- Hosszú távú emlékezet
- Előrehaladott gondolkodás
mosaia
Nyílt platform az AI ügynökök megépítéséhez, megosztásához és az ügynökök közösségi üzemeltetéséhez
A mosaia egy közösség által vezérelt platform, amely nyílt rendszerben áll rendelkezésre az AI ügynökök és alkalmazások kifejlesztéséhez. Olyan eszközöket biztosít a fejlesztőknek, hogy AI megoldásokat hozzanak létre, módosítsanak és telepítsenek, miközben támogatja a projekt közötti együttműködést és átláthatóságot . A felület hangsúlyosan a nyitottságot tükrözi, lehetővé téve, hogy az összes felhasználó megosztja munkáját, újítsa fel mások AI-komponenseit, és járuljon hozzá egy növekvő AI-komponensekkel rendelkező ökoszisztémához. Ezt a megközelítést akarva tartja az alacsony bemeneti küszöböt az AI-k fejlesztéshez, és ösztönzi az okosított építők társadalmi kölcsönhatását és a tudás-terjeszkedést is. Még akkor is, ha csupán egy alapszintű ügynök prototípusát építed fel vagy bonyolultabb AI folyamatot összeillesztesz, a mosaia felkínálja a fejlődéshez közösséget és felépítést az iteratív, nyitott fejlesztéshez.
Kritériumok szétosztása
- Tudományos modellalkotási eszközök
- Nyitott megosztás és együttműködés
- Közösségeltérő piac
- Egyedi ügynök munkafolyamatok
- Fejlesztőknek fenntartott platform
- Kapcsolódási infrastruktúra a telepítéshez