Minulý súboj · 2025-02-07 UTC
Multimodal AI Súboj — 7. februára 2025
Z kategórie Multimodal AI. 19 body udelených medzi 5 bojovníkov. Omniverse Audio2Face získal korunu.
Konečné poradie
Zostava
Bojovníci
Profily každého nástroja, ktorý súťažil v tomto súboji, zoradené podľa ich konečného skóre.
Omniverse Audio2Face
AI‑riadený nástroj NVIDIA na generovanie 3D tvárových animácií v reálnom čase synchronizovaných s hlasom
Omniverse Audio2Face je aplikácia od NVIDIA, ktorá automaticky generuje 3D tvárovú animáciu z audio zdroja. Využíva predtrénovanú hlbokú neurónovú sieť, ktorá analyzuje hlasový vstup a v reálnom čase riadi výrazy tváre, synchronizáciu pier a emócie 3D postavy, čím odstraňuje väčšinu manuálneho keyframingu, ktorý je bežne potrebný v animačných pipelineoch. Nástroj beží v prostredí NVIDIA Omniverse a podporuje export do štandardných DCC platforiem ako Maya, Unreal Engine a Blender prostredníctvom formátov ako USD a blendshapes. Funguje s vlastnými sieťami postáv pomocou retargeting workflow, čo ho robí užitočným pre vývojárov hier, animátorov, tímy virtuálnej produkcie a tvorcov digitálnych ľudí alebo interaktívnych avatarov. Audio2Face podporuje offline spracovanie pre filmovú prácu aj živé streamovanie pre interaktívne aplikácie, s nastavitelnými ovládačmi emócií a viacjazyčnou podporou audio vstupu.
Rozdelenie kritérií
- Animácia tváre na základe audia pomocou hlbokého učenia
- Synchronizácia pier a ovládanie emócií v reálnom čase
- Retargetovanie postavy na vlastné meshe
- Exportné pipeline pre blendshapes a USD
- Režim živého streamovania pre interaktívne avatary
- Podpora viacjazyčného hlasového vstupu
Humane AI Pin
Nositeľný AI asistent navrhnutý ako alternatívna forma bez displeja k smartfónu.
Humane AI Pin je malé, magneticky upevnené nositeľné zariadenie, ktoré využíva hlas, gestá a laserom premietaný displej na poskytovanie interakcií podobných asistentovi bez tradičného displeja. Dvojica zabudovaných kamier, mikrofónov a senzorov s veľkými jazykovými modelmi (LLM) umožňuje odpovedať na otázky, prekladať jazyky, zachytávať fotografie, sumarizovať správy a identifikovať objekty v zornom poli. Inzerovaný ako zariadenie s ambientným výpočtom, Pin má za cieľ znížiť závislosť od telefónov tým, že zobrazuje informácie len vtedy, keď sú potrebné. Funguje na vlastnom mobilnom pláne namiesto toho, aby bol viazaný na smartfón, a podporuje príkazy v prirodzenej reči namiesto aplikácií. Produkt dostal pri spustení zmiešané recenzie kvôli výdrži batérie, latencii a presnosti a Humane odvtedy upravil svoju cestovnú mapu. Zostáva pozoruhodným skorým experimentom v oblasti samostatného, na umelej inteligencii založeného nositeľného hardvéru.
Rozdelenie kritérií
- Hlasovo riadený AI asistent
- Laserovo projekčná displej na dlane
- Preklad jazykov v reálnom čase
- Zachytávanie fotografií a krátkych videí
- Kontextuálne rozpoznávanie objektov a scenárov
- Samostatný mobilný dátový plán
Project Astra
Univerzálny AI agent od Google DeepMind, ktorý vidí, počuje a rozumie svetu v reálnom čase.
Project Astra je experimentálny univerzálny AI asistent od Google DeepMind navrhnutý tak, aby pomáhal s každodennými úlohami tým, že svet chápe tak, ako ľudia. Spracúva video, audio, obrázky a text súčasne, čo umožňuje používateľom namieriť fotoaparát alebo hovoriť prirodzene a dostávať kontextovo uvedomelé odpovede. Postavený na modeloch Google Gemini, Astra je navrhnutý pre nízkou latenciou konverzácie s perzistentnou pamäťou nedávneho kontextu. Je umiestnený ako výskumný prototyp, ktorý skúma, ako by všeobecne účelový agent mohol nakoniec bežať na telefónoch, inteligentných okuliaroch a iných ambientných zariadeniach. Hoci ešte nie je verejne dostupný produkt, Astra signalizuje smer Google pre agenty AI, ktorí môžu pozorovať okolie, zapamätávať si, čo videli, a vykonávať užitočné akcie v mene používateľa.
Rozdelenie kritérií
- Spracovanie živého videa a obrázkov
- Hlasové konverzačné rozhranie
- Trvalá kontextová pamäť
- Multimodálne uvažovanie naprieč textom, audio a vizuálmi
- Integrácia s rodinou modelov Gemini
- Podpora prototypu pre smart okuliare a telefóny
Hume AI vyvíja hlasové a jazykové modely určené na interpretáciu a reakciu na emocionálne podnety v ľudskej reči. Jeho vlajková loď Empathic Voice Interface (EVI) kombinuje expresívnu syntézu reči so sledovaním tónu, prozódy a sentimentu v reálnom čase, čo umožňuje konverzácie, ktoré pôsobia prirodzenejšie ako typické hlasové asistenty. Vývojári môžu pristupovať k schopnostiam Hume prostredníctvom API a SDK na vytváranie aplikácií v oblastiach, ako je podpora duševného zdravia, zákaznícky servis, dostupnosť a interaktívna zábava. Platforma tiež ponúka nástroje na meranie prejavov pre analýzu emočných signálov v hlasových, tvárových a jazykových údajoch. Hume sa zameriava na zodpovedné nasadenie, publikuje výskum v oblasti afektívneho počítania a dodržiava etické usmernenia pre použitie emočnej AI.
Rozdelenie kritérií
- Empathic Voice Interface (EVI)
- Meranie výrazu cez hlas, tvár a text
- Prispôsobiteľné hlasové osobnosti
- Konverzačný streaming s nízkou latenciou
- REST a WebSocket API
- Smernice pre etické použitie a dokumentácia
Alaya AI je decentralizovaná platforma, ktorá spája vývojárov modelov AI s distribuovanými poskytovateľmi dát prostredníctvom komunitnej štruktúry Web3. Zameriava sa na získavanie rôznych, vysokokvalitných tréningových údajov pre strojové učenie tým, že využíva globálnu sieť prispievateľov, ktorí označujú, overujú a odosielajú súbory údajov. Platforma využíva gamifikáciu, tokeny a NFT na motiváciu účasti, čím sa zber a anotácia údajov stávajú zaujímavou činnosťou namiesto povinnosti. Prispievatelia získavajú odmeny na základe kvality a množstva svojej práce, zatiaľ čo vývojári získavajú prístup k škálovateľným, rôznorodým súborom údajov vhodným pre tréning špecifických alebo kultúrne špecifických modelov LLM. Spájajúc transparentnosť blockchainu s inteligenciou sociálneho roja, Alaya AI si kladie za cieľ spraviť dátové pipelines umelej inteligencie dostupnejšie, sledovateľnejšie a spravodlivejšie pre menšie tímy, ktoré nemajú rozsiahle vlastné zdroje na označovanie.
Rozdelenie kritérií
- Decentralizovaná sieť zberu a označovania údajov
- Systém odmeňovania založený na tokenoch a NFT
- Hraficované úlohy a komunitné výzvy
- Sviečová inteligencia pre distribuované anotácie
- Podpora pre rôzne a špecializované potreby súborov údajov
- Sledovanie príspevkov v reťazci