Minulý súboj · 2024-12-22 UTC
Agent Development Súboj — 22. decembra 2024
Z kategórie Agent Development. 15 body udelených medzi 4 bojovníkov. Vocode získal korunu.
Konečné poradie
Zostava
Bojovníci
Profily každého nástroja, ktorý súťažil v tomto súboji, zoradené podľa ich konečného skóre.
Vocode
Open-source framework pre vytváranie hlasových AI agentov v reálnom čase zo zložiek rozpoznávania reči, LLM a textu na reč
Vocode je open-source knižnica na vytváranie hlasových konverzačných aplikácií založených na umelej inteligencii. Poskytuje potrebné komponenty na prepojenie rozpoznávania reči, veľkých jazykových modelov a syntézy reči do jednej pipeline v reálnom čase, čo umožňuje vývojárom vytvárať agenty, ktorí môžu počúvať, uvažovať a hovoriť cez telefónne hovory, webové sokety alebo lokálny zvuk. Rámec je primárne distribuovaný ako Python SDK so zameraním na streamovanie zvuku, aby konverzácie pôsobili responzívne a nie postupne s dlhými oneskoreniami. Zabezpečuje organizačné aspekty, ktoré sťažujú vytváranie hlasových agentov od začiatku, ako je napríklad spravovanie prerušení (barge-in), vyrovnávanie a streamovanie prepisu, a koordinácia vzájomnej komunikácie medzi prepisovačom, logikou agenta a syntetizátorom. Vocode je navrhnutý ako modulárny a poskytovateľsky-agnostický. Integruje sa s radom služieb tretích strán pre každú fázu potrubia — napríklad poskytovatelia transkripcie ako Deepgram a AssemblyAI, jazykové modely ako tie od OpenAI, a enginy text-to-speech vrátane ElevenLabs, Azure a ďalších. Vývojári môžu komponenty zamieňať v závislosti na nákladoch, latencii a požiadavkách na kvalitu hlasu. Bežný prípad použitia je telefonovanie: podporuje umiestňovanie a prijímanie telefónnych hovorov prostredníctvom poskytovateľov ako Twilio, čo ho robí vhodným na vytváranie automatizovaných odchádzajúcich a prichádzajúcich agenta hovorov, hlasových asistentov a telefónnych botov zameraných na zákazníkov. Podporuje tiež konverzácie založené na prehliadači a lokálnom mikrofóne pre hlasové skúsenosti v aplikácii. Pretože je open source a možno ho samo-hostovať, Vocode oslovuje tímy, ktoré chcú mať kontrolu nad svojou technológiou a možnosť prispôsobiť správanie agenta, namiesto toho, aby sa spoliehali na plne spravovanú uzavretú platformu. Nevýhodou je, že vytváranie produkčných hlasových agentov stále vyžaduje zapojenie a platenie za externé služby prepisu, LLM a TTS a dolaďovanie latencie a konverzačného správania. Zaujíma rastúci priestor nástrojov pre hlasové agenty spolu s riadenými platformami a inými rámcami; jeho hlavným rozdielom je open-source, kompozitný prístup, ktorý dáva vývojárom priamy prístup k interným častiam potrubia.
Rozdelenie kritérií
- Potrubie hlasového agenta v reálnom čase
- Integácie s viacerými poskytovateľmi STT, LLM a TTS
- Podpora telefónnych hovorov cez Twilio a podobné telekomunikačné služby
- Obsluha prerušení (barge-in)
- Python SDK pre vytváranie vlastných agentov
- Podpora konverzácií založených na prehliadači a lokálnom mikrofóne
MemGPT
Framework, ktorý LLM poskytuje dlhodobú pamäť a samovoľne spravovaný kontext nad rámec pevných limitov tokenov
MemGPT je open-source rámec navrhnutý na riešenie jednej z základných obmedzení veľkých jazykových modelov: ich pevného kontextového okna. Vyvinutý na základe výskumu na UC Berkeley, projekt priniesol myšlienku, že obmedzený kontext LLM spracúvame rovnako, ako operačný systém spravuje obmedzenú fyzickú pamäť, pomocou stránkovania a hierarchických úrovní pamäti, čím sa modelom dáva dojem oveľa väčšej, trvalej pamäti. Kľúčový prístup sa priamo čerpá z dizajnu operačných systémov. MemGPT oddeľuje pamäť v kontexte (tokeny momentálne v promptovom okne modelu) od externého úložiska uloženého mimo kontext. Model LLM dostane nástroje na volanie funkcií, ktoré mu umožňujú rozhodnúť, kedy presunúť informácie medzi týmito úrovňami – napríklad ukladať dôležité fakty do dlhodobej úložnice, získať relevantné informácie z minulosti alebo upraviť vlastnú jadrovú pamäť. Toto správanie samoúpravy umožňuje agentom zachovávať koherentný, vyvíjajúci sa stav počas dlhých konverzácií alebo dokumentov, ktoré presahujú jedno kontextové okno. Rámec je určený pre vývojárov, ktorí budujú konverzačných agentov, ktorí potrebujú trvalú pamäť o používateľoch a predchádzajúcich interakciách, ako aj pre tých, ktorí pracujú s analýzou dokumentov nad korpusmi, ktoré sú príliš veľké na umiestnenie v kontexte. Spravovaním pamäti na vyvolanie, archívneho úložiska a pracovného kontextu umožňuje MemGPT agentom odkazovať na detaily z mnohem skôr v interakcii bez toho, aby vývojár manuálne navrhol pipeline pre získavanie pre každý prípad. MemGPT funguje s oboma proprietárnymi modelmi, ako sú tie od OpenAI, a lokálne hostenými otvorenými modelmi, a integruje sa s vektorovými databázami a inými úložnými backendmi na trvalé uchovávanie pamäti medzi reláciami. Projekt neskôr prešiel evolúciou a je úzko spojený s Letta, spoločnosťou a platformou, ktorá pokračuje vo vývoji základných koncepcií stavebných agentov a ponúka server a nástroje okolo pôvodných myšlienok. Jeho hlavné silné stránky sú koncepčná jasnosť a konkrétny, znovu použiteľný vzor pre dlhodobú pamäť, ktorý prechádza nad rámec jednoduchého generovania doplneného vyhľadávaním. Kompromisy sú typické pre rámce agentov: slučka samoúpravy pamäťou silne závisí od spoľahlivosti volaní funkcií modelu, ktorá sa môže líšiť u menších alebo lokálnych modelov, a ďalšie kroky správy pamäti pridávajú latenciu a režim tokenov. Ako sa vyvíjajúci open-source projekt sa jeho názov, API a okolité ekosystémy menia v priebehu času, čo môže spôsobiť, že dokumentácia a verzionovanie sa stávajú pohyblivým cieľom.
Rozdelenie kritérií
- Hierarchické riadenie kontextu a externých pamätí
- Samoúprava jadrovej pamäti pomocou volaní funkcií
- Uloženie archivných a vyvolávacích pamätí
- Integrácia vektorovej databázy pre získanie
- Podpora viacerých LLM backendov
- Stavový konverzačný agent
Letta AI
Otvorená zdrojová platforma na tvorbu stavových AI agentov s dlhodobou pamäťou a pokročilým rozumovaním.
Letta AI je otvorená zdrojová platforma určená na vytváranie stavových AI agentov. Títo agenti sú vybavení dlhodobo pamäťou a pokročilými rozumovými schopnosťami. Platforma umožňuje vývojárom budovať AI agentov, ktorí si zachovávajú pamäť o predchádzajúcich interakciách, čím sa zvyšuje komplexnosť a kontextovo zameraná rozhodovacia schopnosť. Toto je obzvlášť užitočné pre aplikácie, ktoré vyžadujú, aby agenti zistili skúsenosti v priebehu času a prispôsobili svoje reakcie. Letta AI cieli na vývojárov a výskumníkov, ktorí sa zaujímajú o tvorbu sofistikovaných AI agentov pre rôzne úlohy, od zákazníckej podpory až po zložitejšie riešenia problémov. Poskytnutím dlhodobej pamäti a pokročilého rozumovania umožňuje Letta AI vývoj AI agentov, ktorí zvládnu širokú škálu úloh s vyšším stupňom autonómie a inteligencie.
Rozdelenie kritérií
- Stavoví AI agenti
- Dlhodobá pamäť
- Pokročilé rozumovanie
Mosaia je komunálne riadená platforma určená na vytváranie AI agentov a aplikácií v otvorenom priestore. Poskytuje vývojárom nástroje na vytváranie, prispôsobovanie a nasadzovanie AI riešení a zároveň podporuje spoluprácu a transparentnosť naprieč projektmi. Platforma zdôrazňuje otvorenosť, umožňuje používateľom zdieľať svoju prácu, upravovať agentov ostatných a prispievať k rastúcemu ekosystému komponentov umelej inteligencie. Tento prístup si kladie za cieľ znížiť prekážky vstupu do vývoja umelej inteligencie a zároveň podporovať zdieľanie znalostí medzi vývojármi. Či už vytvárate prototyp jednoduchého agenta alebo zostavujete zložitejší pracovný postup AI, Mosaia ponúka infraštruktúru a komunitu na podporu iteratívneho, otvoreného vývoja.
Rozdelenie kritérií
- Nástroje na tvorbu AI agentov
- Otvorené zdieľanie a spolupráca
- Trh riadený komunitou
- Prispôsobiteľné pracovné postupy agentov
- Platforma zameraná na vývojárov
- Infrastruktúra pre nasadenie