Pretekla bitka · 2025-02-07 UTC
Multimodal AI Obračun — 7. februar 2025
Iz kategorije Multimodal AI. 19 oznake postavljenih med 5 borci. Omniverse Audio2Face je osvojil krono.
Končna razvrstitev
Postava
Borci
Profili vsakega orodja, ki je tekmovalo v tej bitki, razvrščeni po končnem rezultatu.
Omniverse Audio2Face
NVIDIA-ovo AI orodje za ustvarjanje realnočasovne, glasovno sinhronizirane 3D obrazne animacije
Omniverse Audio2Face je NVIDIA aplikacija, ki samodejno ustvarja 3D animacijo obraza iz avdio vira. S pomočjo predtrenirane globoke nevronske mreže analizira glasovni vhod in v realnem času upravlja obrazne izraze, lip sync in čustva 3D lika, kar odstranjuje večino ročnega ključnega kadrovanja, ki je običajno potrebno v animacijskih procesih. Orodje deluje znotraj NVIDIA Omniverse in podpira izvoz v standardne DCC platforme, kot so Maya, Unreal Engine in Blender, prek formatov, kot sta USD in blendshapes. Deluje s prilagojenimi mrežami likov prek postopka retargetinga, kar ga naredi uporabnega za razvijalce iger, animatorje, ekipe za virtualno produkcijo ter ustvarjalce, ki gradijo digitalne ljudi ali interaktivne avatare. Audio2Face podpira tako offline processing za filmsko delo kot live streaming za interaktivne aplikacije, z nastavljivimi kontrolami čustev in večjezičnim upravljanjem zvoka.
Razdelitev kriterijev
- Obrazna animacija, pogojena z zvokom, preko globokega učenja
- Realnočasovna sinhronizacija ust in nadzor čustev
- Retargetiranje likov na prilagojene mreže
- Blendshape in USD izvozni procesi
- Način v živo za interaktivne avatarje
- Podpora večjezičnemu glasovnemu vhodu
Humane AI Pin
Nosljiva AI pomočnik, zasnovan kot zaslonska alternativa pametnemu telefonu.
The Humane AI Pin je majhen, magnetno pritrjen nosilec, ki uporablja glas, gesto in laser‑projiciran zaslon za zagotavljanje interakcij v slogu pomočnika brez tradicionalnega zaslona. Povezuje vgrajene kamere, mikrofone in senzorje z velikimi jezikovnimi modeli, da odgovarja na vprašanja, prevaja jezike, zajema fotografije, povzame sporočila in prepozna predmete v obzorju. Tržijo ga kot napravo ambient računalništva, Pin si prizadeva zmanjšati odvisnost od telefonov z izpostavljanjem informacij le, ko so potrebne. Deluje na lastnem mobilnem načrtu namesto, da se poveže z pametnim telefonom, in podpira ukaze v naravnem jeziku namesto aplikacij. Pri zagonu je izdelek prejel mešane preglede glede življenjske dobe baterije, latence in natančnosti, in Humane je od takrat prilagodilo svoj načrt poti. Ostaja značilen zgodnji poskus samostojne, AI-prvo nosljivega strojne opreme.
Razdelitev kriterijev
- Glasovno upravljan AI pomočnik
- Laserni tisk z projiciranim prikazom na prsti
- Prevod jezikov v realnem času
- Snemanje fotografij in kratkih videoposnetkov
- Kontekstno prepoznavanje predmetov in prizorov
- Samostojen mobilni podatkovni paket
Project Astra
Univerzalni AI agent Google DeepMind, ki v realnem času vidi, sliši in razmišlja o svetu.
Project Astra je eksperimentalni univerzalni AI asistent Google DeepMind, zasnovan za pomoč pri vsakodnevnih opravilih z razumevanjem sveta na način, kot ga razumejo ljudje. Obdeluje video, zvočne posnetke, slike in besedilo hkrati, kar uporabnikom omogoča, da kamero usmerijo ali naravno govorijo in prejemajo odzive z razumevanjem konteksta. Zgrajen na Googlovih Gemini modelih, Astra je zasnovan za interakcijo z nizko latenco in konverzacijsko interakcijo ter s trajnim pomnjenjem nedavnega konteksta. Ponuja se kot raziskovalni prototip, ki preučuje, kako bi lahko agent splošne uporabe na koncu deloval na telefonih, pametnih očalih in drugih ambientnih napravah. Čeprav še ni na voljo javnosti, Astra signalizira Googleovo smer za agentic AI, ki lahko opazuje okolico, si zapomni, kaj je videl, in v imenu uporabnika izvede koristne ukrepe.
Razdelitev kriterijev
- Splošno razumevanje videa in slik
- Vmesnik za pogovor na osnovi glasu
- Trajnostna kontekstualna spomin
- Multimodalno razmišljanje preko besedila, zvoka in vizualnih podatkov
- Integracija z družino modelov Gemini
- Podpora prototipom za pametne očala in telefone
Hume AI
Emocijsko inteligenten glasni AI, ki govori in posluša z človeško podobnimi nuancami.
Hume AI razvija glasovne in jezikovne modele, zasnovane za interpretacijo in odzivanje na čustvene signale v človeškem govoru. Njegova glavni izdelek Empathic Voice Interface (EVI) združuje izražajno sintezo govora z analizo tona, prozode in sentimenta v realnem času, kar omogoča pogovore, ki se zdi bolj naravni kot tipični glasovni asistent. Razvijalci lahko dostopajo do zmožnosti Hume prek API-jev in SDK-jev za gradnjo aplikacij na področjih, kot so podpora duševnemu zdravju, obratna storitev, dostopnost in interaktivna zabava. Platforma ponuja tudi orodja za merjenje izraza za analizo čustvenih signalov v glasovnih, obraznih in jezikovnih podatkih. Hume se pozicionira okoli odgovornega uvajanja, objavlja raziskave o afektivnem računalništvu in se drži etičnih smernic za uporabo AI čustev.
Razdelitev kriterijev
- Empatični glasbeni vmesnik (EVI)
- Merjenje izražanja preko glasu, obraza in besedila
- Prilagodljive glasne osebnosti
- Nizko-zamudniški pogovorni streaming
- REST in WebSocket APIs
- Etični smernice za uporabo in dokumentacija
Alaya AI
Tržnica Web3 podatkov, ki povezuje razvijalce AI z globalnimi prispevalci prek igralnih spodbud
Alaya AI je decentralizirana platforma, ki povezuje razvijalce modelov AI z razpršenimi ponudniki podatkov preko strukture skupnosti Web3. Osredotoča se na pridobivanje raznolikih, visokokakovostnih trening podatkov za strojno učenje z izkoriščanjem globalnega omrežja sodelujočih, ki označujejo, potrjujejo in oddajajo podatkovne komplekte (datasets). Platforma uporablja gamifikacijo, žetone in NFT-je, da spodbuja sodelovanje, kar pretvori zbiranje podatkov in označevanje v privlačno dejavnost namesto obveznosti. Sodelavci zaslužijo nagrade na podlagi kakovosti in količine svojega dela, medtem ko razvijalci pridobijo dostop do razširljivih, raznolikih podatkovnih zbirk, primernih za treniranje specializiranih ali kulturno specifičnih modelov. S kombiniranjem transparentnosti blockchaina z družbeno rojno inteligenco (social swarm intelligence) želi Alaya AI narediti podatkovne cevi umetne inteligence bolj pravične, sledljive in dostopne manjšim ekipam, ki nimajo velikih internih virov označevanja.
Razdelitev kriterijev
- Desentralizirano omrežje za zbiranje in označevanje podatkov
- Sistem nagrajevanja na osnovi tokenov in NFT
- Igralni nalogi in skupnostni izzivi
- Inteligenca tramu za razpršeno označevanje
- Podpora raznolikim in specializiranim zbirkam podatkov
- Sledenje prispevkov na verigi (on-chain)