Agent Development Souboj — 22. prosince 2024

1

Vocode

Open-source rámec pro xây dựng reálných hlasových AI agentů z součástí speech-to-text, LLM a text-to-speech

4.8 (4)

Freemium

Plná recenze

Vocode je open-source knihovna pro vytváření hlasových konverzačních aplikací založených na umělé inteligenci. Poskytuje potřebné komponenty pro propojení rozpoznávání řeči, velkých jazykových modelů a syntézy řeči do jednoho pipeline v reálném čase, což umožňuje vývojářům vytvářet agenty, kteří mohou naslouchat, uvažovat a mluvit přes telefonní hovory, webové socketky nebo lokální audio. Rámec je primárně distribuován jako Python SDK, se zaměřením na streamování zvuku, aby konverzace působily responzivně, nikoli postupně s dlouhými zpožděními. Zajišťuje problémy s orchestrací, které ztěžují vytváření hlasových agentů od začátku, jako je řízení přerušení (barge-in), ukládání do vyrovnávací paměti a streamování přepisu a koordinace tam a zpět mezi přepisovačem, logikou agenta a syntezátorem. Vocode je navržen jako modulární a poskytovatelem nezávislý. Integruje se s řadou služeb třetích stran pro každou fázi pipelineu - například poskytovateli přepisu jako Deepgram a AssemblyAI, jazykové modely jako ty od OpenAI a enginy text-to-speech včetně ElevenLabs, Azure a dalších. Vývojáři mohou měnit komponenty podle požadavků na cenu, latenci a kvalitu hlasu. Běžným případem použití je telefonie: nástroj podporuje uskutečňování a přijímání telefonních hovorů prostřednictvím poskytovatelů, jako je Twilio, což ho činí vhodným pro vytváření automatizovaných vnějších a příchozích agenty, hlasových asistentů a zákaznických telefonních botů. Podporuje také konverzace založené na prohlížeči a místním mikrofonu pro hlasové zkušenosti v aplikaci. Protože je open source a lze jej samo-hostovat, Vocode oslovuje týmy, které chtějí mít kontrolu nad svou technologií a možnost přizpůsobit chování agenta, spíše než spoléhat na plně spravovanou uzavřenou platformu. Nevýhodou je, že vytváření hlasových agentů na produkční úrovni stále vyžaduje propojení a platbu za externí služby přepisu, LLM a TTS a ladění latence a konverzačního chování. Zaujímá rostoucí prostor nástrojů pro hlasové agenty spolu s řízenými platformami a dalšími rámci; jeho hlavním rozdílem je open-source, skládací přístup, který poskytuje vývojářům přímý přístup k vnitřním částem pipeline.

• Reálná hlasová pipeline agenta v reálném čase
• Integrace s více STT, LLM a TTS poskytovateli
• Podpora telefonních hovorů через Twilio a podobné telekomunikační služby
• Řízení přerušení (barge-in)
• Python SDK pro xây dựng přizpůsobených agentů
• Podpora prohlížeč-založené a lokální-mikrofonové konverzace

2

MemGPT

Framewórking dává LLMs dlouhotrvající paměť a soběřízený kontext nad fixními tokenovými limity

4.5 (4)

Freemium

Plná recenze

MemGPT je open-source framework navržený k řešení jednoho ze základních omezení velkých jazykových modelů: jejich pevného kontextového okna. Tento projekt, původně vycházející z výzkumu na univerzitě UC Berkeley, představil myšlenku, že omezený kontext LLM lze zpracovávat podobně, jako operační systém spravuje omezenou fyzickou paměť. Tento přístup využívá stránkování a hierarchické úrovně paměti, aby modely získaly dojem mnohem větší a přetrvávající paměti. Jádro přístupu přímo vypůjčuje z návrhu operačního systému. MemGPT rozlišuje mezi kontextovou pamětí (tokeny aktuálně v okně výzvy modelu) a vnější úložiště držené mimo kontext. Samotnému LLM jsou poskytnuty nástroje pro volání funkcí, které mu umožňují rozhodnout, kdy přesunout informace mezi těmito úrovněmi — například uložení důležitých faktů do dlouhodobého úložiště, získání relevantních minulých informací nebo úpravu vlastní základní paměti. Toto samoupravovací chování umožňuje agentům udržovat souvislý, vyvíjející se stav napříč dlouhými konverzacemi nebo dokumenty, které daleko překračují jediné okno kontextu. Rámec je zaměřen na vývojáře, kteří vytvářejí konverzační agenty, kteří potřebují trvalou paměť uživatelů a předchozích interakcí, stejně jako ty, kteří pracují s analýzou dokumentů na korpusech, které jsou příliš velké, aby se vešly do kontextu. Díky správě vzpomínkové paměti, archivního úložiště a pracovního kontextu umožňuje MemGPT agenty, které mohou odkazovat na podrobnosti z mnohem dřívější interakce bez toho, aby vývojář musel ručně vytvářet vyhledávací potrubí pro každý případ. MemGPT pracuje jak s proprietárními modely, jako jsou ty od OpenAI, tak s lokálně hostovanými otevřenými modely, a integruje se s vektorovými databázemi a dalšími úložišti, aby zachoval paměť mezi sezeními. Projekt se později vyvinul a úzce se spojil s Letta, společností a platformou, která pokračuje ve vývoji základních konceptů stavových agentů a nabízí server a nástroje kolem původních nápadů. Jeho hlavní předností je koncepční jasnost a konkrétní, opakovaně použitelný vzorec pro dlouhodobou paměť, který překračuje naivní generování rozšířené o získávání informací. Obvyklé kompromisy jsou typické pro rámce agentů: samoeditující smyčka paměti silně závisí na spolehlivosti volání funkcí modelu, která se může lišit u menších nebo lokálních modelů, a další kroky správy paměti přidávají latenci a přetok tokenů. Jako vyvíjející se open-source projekt se jeho pojmenování, rozhraní API a okolní ekosystém časem měnily, což může způsobit, že dokumentace a verzování jsou pohyblivým cílem.

• Mřížka kontextu a zvenčí řízené paměťové management
• Samosebouřízená jádrová paměť pomocí vyvolání funkcí
• Archivace a opětovné přístupné paměti
• Integrace s vektorovými databázemi pro odvození
• Podpora více LLM pozadí
• Státem řízené konverzační agenti

3

Letta AI

Otevřená platforma pro výstavbu statičních AI agentů s dlouhodobou pamětí a pokročilým rozpoznáním.

5.0 (4)

Freemium

Plná recenze

Letta AI je otevřená platforma navržená pro vytváření statefull AI agentů. Tyto agenti jsou vybaveny dlouhotrvající pamětí a pokročilými schopnostmi rozpoznání. Platforma umožňuje vývojářům vytvářet AI ovládací prvky, které mohou udržet paměť minulých interakcí, což umožňuje komplexnější a kontextově uvědomělé rozhodovací procesy. Toto je zvláště užitečné pro aplikace, které vyžadují, aby agenti učily se zkušenostmi a přizpůsobovaly se v návaznosti na to. Letta AI cílí na vývojáře a badatele, kteří jsou zainteresování vytváření sofistikovaných AI ovládacích prvků pro různé aplikace, od péče o zákazníky až po složitější úkoly na řešení problémů. Prostřednictvím dlouhodobé paměti a pokročilého rozpoznání umožňuje Letta AI vývoj AI ovládacích prvků, které mohou obsluhovat širokou škále úkolů s vyšší hodnoskou autonomie a inteligence.

• Státově AI ovládací prvky
• Dlouhodobá paměť
• Pokročilé rozpoznání

4

mosaia

Otevřená platforma pro budování, sdílení a nasazování AI agenů spolupružením

4.5 (6)

Freemium

Plná recenze

Mosaia je komunitou poháněná platforma navržená pro budování AI agentů a aplikací v otevřeném prostředí. Poskytuje vývojářům nástroje pro vytváření, přizpůsobení a nasazení AI řešení a podporuje spolupráci a transparentnost napříč projekty. Platforma zdůrazňuje otevřenost, umožňuje uživatelům sdílet svou práci, remixovat agenti ostatních a přispívat k rostoucímu ekosystému komponent umělé inteligence. Tento přístup si klade za cíl snížit překážky pro vstup do vývoje umělé inteligence a zároveň podporovat sdílení znalostí mezi vývojáři. Ať už vytváříte prototyp jednoho agenta nebo sestavujete složitější pracovní postup s umělou inteligencí, Mosaia nabízí infrastrukturu a komunitu na podporu iterativního a otevřeného vývoje.

• Nástroje pro budování AI agenů
• Otevřené sdílení a spolupráce
• komunitně ovládaný trh s komponentami
• Rozšiřitelné fluksové procesy agenů
• Vyvojářsky upravená platforma
• Infrastruktura pro nasazení