Multimodal AI Yhteenotto — 7. helmikuuta 2025

1

Omniverse Audio2Face

NVIDIA:n tekoälypohjainen työkalu reaaliaikaisen, ääneen synkronoidun 3D‑kasvoanimoinnin luomiseen

4.6 (5)

Freemium

Koko arvostelu

Omniverse Audio2Face on NVIDIA-sovellus, joka luo automaattisesti 3D‑kasvoanimaation äänenlähteestä. Käyttäen ennakkoon koulutettua syväneuroverkkoa se analysoi äänisyötteen ja ohjaa 3D‑hahmon kasvonilmeitä, huulisynkkiä ja tunteita reaaliajassa, poistaen suuren osan perinteisesti animaatioputkissa vaadittavasta manuaalisesta keyframe‑työstä. Työkalu toimii NVIDIA Omniverse -ympäristössä ja tukee vientiä standardeihin DCC-alustoihin, kuten Maya, Unreal Engine ja Blender, käyttäen esimerkiksi USD- ja blendshape-muotoja. Se toimii myös mukautettujen hahmomallien kanssa retargetointi-työnkulun avulla, mikä tekee siitä hyödyllisen pelinkehittäjille, animaattoreille, virtuaalituotantotiimeille ja sisällöntuottajille, jotka rakentavat digitaalisia ihmisiä tai interaktiivisia avatar-hahmoja. Omniverse Audio2Face tukee sekä offline-prosessointia elokuvatuotantoa varten että livestriimausta interaktiivisissa sovelluksissa, ja siinä on säädettävät tunneohjaimet sekä monikielinen äänenkäsittely.

• Syväoppimisen avulla ääniohjattu kasvoanimointi
• Reaaliaikainen huulisynkronointi ja tunteiden hallinta
• Hahmon uudelleenkohdistus mukautettuihin mesh-verkkoihin
• Blendshape- ja USD-vientiputket
• Suoratoistotila interaktiivisia avatar-hahmoja varten
• Monikielinen äänisyötteen tuki

2

Humane AI Pin

Kannettava älyavustaja, joka on suunniteltu näytöntönä vaihtoehtona älypuhelimeen.

4.5 (6)

Freemium

Koko arvostelu

Humane AI Pin on pieni, magneetin avulla kiinnitettävä wearable-laite, joka käyttää ääntä, elekieltä ja laserkaiuttimella heijastettua näyttöä tarjotakseen avustajatyylisiä vuorovaikutuksia perinteisen näytön sijaan. Se yhdistää laitteessa olevat kamerat, mikrofonit ja anturit suurten kielimallien kanssa vastatakseen kysymyksiin, kääntääkseen kieliä, ottamaan valokuvia, tiivistämään viestejä ja tunnistamaan näkökentässä olevia esineitä. Markkinoitu ambienttipiiriin kuuluvana laitteena, Pinin tavoitteena on vähentää riippuvuutta puhelimeen näyttämällä tietoja ainoastaan kun niitä tarvitaan. Se toimii omalla matkapuhelinliittymällään eikä riipu smartphoneen, ja tukee luonnollisen kielen komentoja sovellusten sijaan. Tuote sai sekavia arvosteluja julkaisun aikana paristoaikaa, viivettä ja tarkkuutta koskien, ja Humane on sen jälkeen sopeuttanut tiensä. Se on edelleen merkittävä varhainen kokeilu itsenäisessä, ensisijaisesti älykkääseen laitteistoon perustuvassa wearable-laitteistossa.

• Ääniohjattu älyavustaja
• Lasermusteen heijastusnäyttö kämmenellä
• Reaaliaikainen kielentunnistus
• Valokuvien ja lyhyiden videoiden tallennus
• Kontekstuaalinen esine- ja maisemantunnistus
• Itsenäinen matkapuhelinliittymä

3

Project Astra

Google DeepMindin universaali AI-agentti, joka näkee, kuuntelee ja päätteli maailmasta reaaliajassa.

5.0 (4)

Freemium

Koko arvostelu

Project Astra on Googlen DeepMindin kokeellinen universaali AI‑avustaja, joka on suunniteltu auttamaan arkipäiväisissä tehtävissä ymmärtämällä maailma ihmisten tavoin. Se käsittelee videota, ääntä, kuvia ja tekstiä samanaikaisesti, jolloin käyttäjät voivat suunnata kameran tai puhua luonnollisesti ja saada kontekstitietoisia vastauksia. Project Astra on rakennettu Googlen Gemini-mallien päälle, ja se on suunniteltu matalan viiveen, keskustelevaan vuorovaikutukseen, jossa on pysyvä muisti äskettäisestä kontekstista. Se on asemoitu tutkimusprototyypiksi, joka tutkii, miten yleiskäyttöinen agentti voisi lopulta toimia puhelimilla, älylaseilla ja muilla ambient-laitteilla. Vaikka se ei ole vielä julkisesti saatavilla oleva tuote, Astra osoittaa Googlen suuntaa kohti agenttimaista tekoälyä, joka pystyy havainnoimaan ympäristöä, muistamaan nähdyttään ja suorittamaan hyödyllisiä toimia käyttäjän puolesta.

• Reaaliaikainen video- ja kuvaymmärrys
• Äänipohjainen keskustelukäyttöliittymä
• Pysyvä kontekstimuistio
• Monimodaalinen päättely tekstin, äänen ja visuaalin välillä
• Integrointi Gemini-malliperheeseen
• Prototyyppi-tuki älylaseille ja puhelimille

Hume AI kehittää ääni- ja kielimalleja, jotka on suunniteltu tulkitsemaan ja reagoimaan tunteisiin liittyviin merkintöihin ihmisen puheessa. Sen lippulaiva Empathic Voice Interface (EVI) yhdistää ilmaisevan puheensynteesin reaaliajaisen tonen, prosodian ja mielipiteen analyysiin, mahdollistaen keskustelut, jotka tuntevat luonnollisemmilta kuin tyypilliset ä Ääniohjattavat avustajat. Kehittäjät voivat käyttää Hume:n ominaisuuksia API:n ja SDK:n kautta rakentaakseen sovelluksia alueilla kuten mielenterveyden tuki, asiakaspalvelu, saavutettavuus ja interaktiivinen viihde. Alusta tarjoaa myös ilmaisun mittaamistyökaluja tunnetilasilmojen analysointiin äänessä, kasvoissa ja kieliaineistoissa. Hume keskittyy vastuulliseen käyttöönottoon, julkaisee tutkimuksia affektiivisesta laskennasta ja noudattaa eettisiä ohjeita emotion älykkään käytön takaamiseksi.

• Empatia Äänirajapinta (EVI)
• Ilmeiden mittaaminen äänen, kasvon ja tekstin kautta
• Mukautuvat äänihahmot
• Matalan viiveen keskusteluvirtaus
• REST- ja WebSocket-rajapinnat
• Eettiset ohjeet ja dokumentaatio

5

Alaya AI

Web3-tietosisältömarkkinat, jotka yhdistävät AI-käyttäjiä maailmanlaajuisiin yhteisöön tunninvoitolla.

4.8 (5)

Freemium

Koko arvostelu

Alaya AI on hajautettu alusta, joka yhdistää tekoälymallien kehittäjät hajautettujen datantojestajien kanssa Web3-yhteisörakenteen kautta. Se keskittyy monipuolisten, korkealaatuisten koulutusdatan löytämiseen koneoppimiselle käyttämällä maailmanlaajuista avustajaverkostoa, jotka merkitsevät, validoivat ja lähettävät tietoja. Alusta hyödyntää pelillistämistä, tokeneita ja NFT:jiä motivoidakseen osallistumista ja muuttaa tietojen keräämisen ja merkintöjen tekemisen mielenkiintoiseksi toiminnaksi Sen sijaan, että se olisi vain vastenmielinen tehtävä. Avustajat ansaitsevat palkkioita työnsä laadun ja määrän perusteella, kun taas kehittäjät saavat pääsyn skaalautuviin ja monipuolisiin tietojoukkoihin, jotka soveltuvat koulutusmallien, jotka ovat suunnattu tietyille nikseille tai kulttuurisesti spesifeille malleille. Yhdistämällä blockchain-läpinäkyvyyden sosiaalisen parvien älykkyyden, Alaya AI pyrkii tekemään AI-dataputkistot oikeudenmukaisemmiksi, jäljitettävimmiksi ja helpommin saataviksi pienemmille tiimeille, joilla ei ole suuria sisäisiä merkintäresursseja.

• Dezentraloitu tiedon ja -merkintän verkkorakennelma
• Token- ja NFT-palkkiollinen palkintosystemi
• Tunnevoittoista tehtäviä ja yhteisökohtaisia haasteita
• Lähiöintelliigiä jakautuneen kirjoittamiseen
• Toiminnallisuus monipuolisille ja vakiintuneille aineistojen tarpeisiin
• Järjestelmyksellinen kuitinhoido tulleille avauksille