Möödunud lahing · 2025-02-07 UTC
Multimodal AI Vastasseis — 7. veebruar 2025
Kategooriast Multimodal AI. 19 märget pandud 5 võitleja kohta. Omniverse Audio2Face võttis krooni.
Lõppseis
Koosseis
Võitlejad
Iga selles lahingus võistelnud tööriista profiilid, järjestatud nende lõppskoori järgi.
Omniverse Audio2Face on NVIDIA rakendus, mis genereerib automaatselt 3D näoanimatsiooni heliallika põhjal. Eelnevalt treenitud sügava närvivõrgu abil analüüsib see hääle sisendit ja juhib 3D tegelase näoilmeid, huulte sünkroniseerimist ja emotsioone reaalajas, kõrvaldades suure osa animatsioonitorustikes tavapäraselt nõutavast käsitsi võtmeframe'eringust. See tööriist töötab NVIDIA Omniverse'i sees ja toetab eksportimist standardsetele DCC-platvormidele, nagu Maya, Unreal Engine ja Blender, selliste vormingute kaudu nagu USD ja blendshapes. See töötab kohandatud tegelaskuju võrkudega via ümbersuunamise töövoo kaudu, muutes selle kasulikuks mänguarendajatele, animaatoritele, virtuaalsete tootmistööde meeskondadele ja loojatele, kes ehitavad digitaalseid inimesi või interaktiivseid avatare. Audio2Face toetab nii võrguühenduseta töötlemist kinematograafiliste tööde jaoks kui ka reaalajas voogedastust interaktiivsete rakenduste jaoks, reguleeritavate emotsioonikontrollide ja mitmekeelsete helikäsitlustega.
Разбивка критериев
- Heli põhine näo animatsioon sügava õppimise abil
- Reaalajas huulte sünkroniseerimine ja emotsioonide juhtimine
- Iseloomu siirdamine kohandatud võrkudele
- Blendshape ja USD eksportimise torujuhtmed
- Reaalajas voogesituse režiim interaktiivsete avataride jaoks
- Mitmekeelne hääle sisendi tugi
Humane AI Pin
Kanduv AI assistent, mis on loodud ekraanivaba alternatiivina nutitelefonile.
Humane AI Pin on väike, magnetiliselt kinnitatud kantav seade, mis kasutab häält, žeste ja laseriga projektitud ekraani, et pakkuda assistendi‑stiilis suhtlust ilma traditsioonilise ekraanita. See ühendab sisseehitatud kaamerad, mikrofonid ja sensorid suurte keelemudelitega, et vastata küsimustele, tõlkida keeli, teha fotosid, kokku võtta sõnumeid ja tuvastada vaates olevaid objekte. Turundatuna ambientarvutuse seadmena, soovib Pin vähendada telefonide kasutamist, näidates infot ainult siis, kui seda vaja on. See töötab omaenda mobiilse andmeside plaaniga, mitte nutitelefoniga seotud, ja toetab loomuliku keele käske rakenduste asemel. Toode sai käivitamisel segaseid arvustusi aku kestvuse, viivituse ja täpsuse osas ning Humane on sellest ajast alates oma teekaarti kohandanud. See on siiski märkimisväärne varajane eksperiment iseseisvas, AI‑esmise kantava riistvara valdkonnas.
Разбивка критериев
- Hääljuhtimisega AI assistent
- Laser-tintaga projektitud ekraan käel
- Reaalajas keele tõlkimine
- Foto- ja lühivideote salvestamine
- Kontekstuaalne objektide ja stseenide tuvastamine
- Iseseisev mobiilse andmeside plaan
Project Astra
Google DeepMindi universaalne AI agent, mis näeb, kuuleb ja mõistab maailma reaalajas.
Project Astra on Google DeepMindi eksperimentaalne universaalne AI-assistent, mis on loodud aidama igapäevaste ülesannete täitmisel, mõistes maailma inimestega samamoodi. See töötleb samaaegselt videot, heli, pilte ja teksti, võimaldades kasutajatel osutada kaamerale või rääkida loomulikult ning saada kontekstiteadlikke vastuseid. Google'i Gemini mudelitele tuginedes on Astra konstrueeritud madala latentsusega, vestlusliku interaktsiooni jaoks, millel on hiljutise konteksti püsiv mälu. See on positsioneeritud uurimisprototüübina, uurimaks, kuidas üldotstarbeline agent võiks lõpuks töötada telefonides, nutikates prillides ja teistes ümbritsevates seadmetes. Kuigi see pole veel avalikult saadaval olev toode, näitab Astra Google'i suunda agensi AI jaoks, mis suudab jälgida ümbritsevat keskkonda, meenutada nähtut ja võtta kasutaja nimel kasulikke toiminguid.
Разбивка критериев
- Reaalajas video ja pildi mõistmine
- Häält-põhine vestlusliides
- Püsiv kontekstuaalne mälu
- Mitmemodaalne arutluskäik teksti, heli ja visuaalsete andmete üle
- Integreerimine Gemini mudelitega
- Prototüübi tugi nutikate prillide ja telefonide jaoks
Hume AI arendab hääl‑ ja keelemudeleid, mis on mõeldud tõlgendama ja reageerima inimese kõnes sisalduvatele emotsioonilistele vihjetele. Selle lipulaev Empathic Voice Interface (EVI) ühendab väljendusrikka kõnesünteesi reaalajas tooni, prosoodia ja sentimentide analüüsiga, võimaldades vestlusi, mis tunduvad loomulikumad kui tavalised häälassistendid. Arendajad saavad Hume'i võimalusi kasutada API‑de ja SDK‑de kaudu, et luua rakendusi vaimse tervise toe, klienditeeninduse, ligipääsetavuse ja interaktiivse meelelahutuse valdkondades. Platvorm pakub ka väljenduste mõõtmise tööriistu emotsionaalsete signaalide analüüsimiseks hääle, näo ja keeleandmetes. Hume seab oma tegevuse keskmes vastutustundliku kasutuse, avaldades uurimistöid affectiivse arvutamise kohta ning järgides eetikajuhiseid emotsioonide AI kasutamisel.
Разбивка критериев
- Empaatiline hääl‑liides (EVI)
- Väljenduste mõõtmine hääles, näos ja tekstis
- Kohandatavad hääle isiksused
- Madal viivitusega vestlusvoog
- REST‑ ja WebSocket‑API‑d
- Eetilise kasutamise juhised ja dokumentatsioon
Alaya AI
Web3 andme turg, mis ühendab AI arendajaid ülemaailmsete kaastöötegijatega mängustatud stiimulite kaudu.
Alaya AI on detsentraliseeritud platvorm, mis ühendab AI mudeli arendajaid jaotatud andme pakkujatega Web3 kogukonna struktuuri kaudu. See keskendub mitmekesise, kõrge kvaliteediga treeningu andmete hankimisele masinõppe jaoks, kasutades ülemaailmset kaastöötegijate võrgustikku, kes märgistavad, valideerivad ja esitavad andmekogumeid. Platvorm kasutab mängustamist, tokeneid ja NFT-sid osalemise motiveerimiseks, muutes andmete kogumise ja märgistamise kaasahaaravaks tegevuseks, mitte kohustuseks. Kaastöötegijad teenivad tasu oma töö kvaliteedi ja kvantiteedi alusel, samas kui arendajad saavad juurdepääsu skaleeritavatele, mitmekesistele andmekogumitele, mis sobivad kitsa või kultuuriliselt spetsiifilise mudeli treenimiseks. Kombineerides plokiahela läbipaistvust sotsiaalse süsteemi intelligentsusega, eesmärgib Alaya AI muuta AI andme torujuhtmed õiglasemaks, jälgitavaks ja kättesaadavaks väiksematele meeskondadele, kellel puuduvad suured sise märgistus ressursid.
Разбивка критериев
- Detsentraliseeritud andmete kogumise ja märgistamise võrk
- Tokeni- ja NFT-põhine tasu süsteem
- Mängustatud ülesanded ja kogukonna väljakutsed
- Süsteemi intelligentsus jaotatud märgistamiseks
- Toetus mitmekesistele ja kitsastele andmekogumite vajadustele
- Ahela jälgimine kaastööte jaoks