Battaglia passata · 2025-02-07 UTC
Multimodal AI Sfida — 7 febbraio 2025
Dalla categoria Multimodal AI. 19 segni piazzate tra 5 sfidanti. Omniverse Audio2Face ha conquistato la corona.
Classifica finale
La formazione
Gli sfidanti
Profili di ogni strumento che ha gareggiato in questa battaglia, ordinati per punteggio finale.
Omniverse Audio2Face
Strumento di AI di NVIDIA per la generazione di animazione facciale in tempo reale, sincronizzata con la voce
Omniverse Audio2Face è un'applicazione NVIDIA che genera automaticamente animazioni facciali 3D da una fonte audio. Utilizzando una rete neurale profonda pre-addestrata, analizza l'audio in ingresso e controlla le espressioni facciali, la sincronizzazione labiale e l'emozione di un personaggio 3D in tempo reale, eliminando gran parte della creazione manuale di keyframe tipicamente richiesta nelle pipeline di animazione. Lo strumento funziona all'interno di NVIDIA Omniverse e supporta l'esportazione su piattaforme DCC standard come Maya, Unreal Engine e Blender attraverso formati come USD e blendshapes. Funziona con mesh di personaggi personalizzati tramite un flusso di lavoro di ritargeting, rendendolo utile per sviluppatori di giochi, animatori, team di produzione virtuale e creatori di esseri umani digitali o avatar interattivi. Audio2Face supporta sia l'elaborazione offline per lavori cinematografici sia la trasmissione live per applicazioni interattive, con controlli emotivi regolabili e gestione audio multilingue.
Suddivisione dei criteri
- Animazione facciale guidata da audio tramite apprendimento profondo
- Sincronizzazione labiale e controllo delle emozioni in tempo reale
- Ritargeting dei personaggi per mesh personalizzate
- Pipelines di esportazione con blendshape e USD
- Modalità live streaming per avatar interattivi
- Supporto multilingue dell' input vocale
Humane AI Pin
Assistente AI portatile progettato come alternativa schermo libera al telefono
Il Humane AI Pin è un dispositivo portatile, attaccabile a un magnetico, che utilizza la voce, il gesto e una proiezione laser per fornire interazioni assistenti senza uno schermo tradizionale. Si connette alla combinazione di telecamere, microfoni e sensori a bordo con i modelli linguistici ad alta capacità per rispondere alle domande, tradurre le lingue, catturare foto, riassumendo le comunicazioni e riconoscere oggetti nell'inquadramento. Commercializzato come dispositivo di calcolo ambientale, il Pin mira a ridurre la dipendenza dai telefonini facendo apparire informazioni solo quando è necessario. Funziona su sua propria tariffa cellulare anziché collegarsi a un smartphone, e supporta i comandi di linguaggio naturale al posto degli app. Il prodotto ha ricevuto recensioni miste al lancio per la durata della batteria, la latenza e l'accuratezza, e Humane ha quindi aggiustato il piano di lavoro. Rimane un esperimento significativo precoce in materiali di consumo autostandard per hardware ad alta tecnologia.
Suddivisione dei criteri
- Assistente AI controllato dalla voce
- Proiezione laser di display sul palmo
- Traduzione di lingue in tempo reale
- Captura di foto e video brevi
- Riconoscimento contestuale di oggetti e scene
- Piano cellulare autonomo
Project Astra
L'agente di intelligenza artificiale universale di Google DeepMind che vedrà, ascolterà ed inferirà sul mondo in tempo reale.
Project Astra è un assistente AI universale sperimentale di Google DeepMind progettato per aiutare con le attività quotidiane comprendendo il mondo nel modo in cui lo fanno le persone. Elabora video, audio, immagini e testo simultaneamente, consentendo agli utenti di puntare una macchina fotografica o parlare naturalmente e ricevere risposte consapevoli del contesto. Basato sui modelli Gemini di Google, Astra è progettato per un'interazione conversazionale a bassa latenza con memoria persistente del contesto recente. È presentato come un prototipo di ricerca che esplora come un agente generico potrebbe eventualmente essere eseguito su telefoni, occhiali intelligenti e altri dispositivi ambientali. Anche se non è ancora un prodotto disponibile pubblicamente, Astra indica la direzione di Google per l'AI agenziale in grado di osservare l'ambiente circostante, richiamare ciò che ha visto e compiere azioni utili per conto di un utente.
Suddivisione dei criteri
- Comprende video e immagini live
- Intercetta la conversazione vocale
- Memoria contestuale persistente
- Ragionamento multimodale attraverso testo, audio e visuals
- Integrazione con la famiglia dei modelli Gemini
- Supporto prototipale per occhiali intelligenti e telefoni
Hume AI
Intelligenza emotiva per l'AI vocale che parla e ascolta con una naturalezza umana
Hume AI sviluppa modelli di vocali e lingua progettati per interpretare e rispondere a suggerimenti emotivi presenti nella parola umana. La sua soluzione Empathic Voice Interface (EVI) combina la sintesi di dialoghi espressivi con l'analisi in tempo reale del tono, del prosodia e dell'umore, consentendo conversazioni che sentono più naturali delle solite assistenti per la voce. I sviluppatori possono accedere alle funzionalità di Hume attraverso API e SDK per creare applicazioni in settori come il supporto per la salute mentale, il servizio clienti, l'accessibilità e l'intrattenimento interattivo. Inoltre, la piattaforma offre strumenti di misura per l'espressione che consentono l'analisi dei segnali emozionali nelle informazioni relative alla voce, le espressioni facciali e i dati linguistici. Hume si pone alla base un impegno responsabile nella sua implementazione, pubblicando ricerche su elaborazione delle emozioni e aderendo a linee guida etiche per l'uso dell'IA sull'emotività.
Suddivisione dei criteri
- Interfaccia vocale Emotiva (EVI)
- Misure dell'espressione su voce, faccia e testo
- Personalità vocale personalizzabili
- Flusso di dialogo con ritardo di latenza basso
- API REST e WebSocket
- Linee guida di utilizzo etico e documentazione
Alaya AI
Mercato Web3 di dati che collega i sviluppatori di intelligenza artificiale con i contributori globali mediante incentivi gamificati.
Alaya AI è una piattaforma deconcentrata che collega gli sviluppatori di modelli AI con i fornitori distribuiti di dati attraverso una struttura di community WEB3. Si concentra sulla ricerca di dati di formazione diversificati e di alta qualità per l'apprendimento automatico, attingendo a una rete globale di contributori che etichettano, verificano e inviano set di dati. La piattaforma utilizza gamificazione, token e NFT per motivare la partecipazione, trasformando la raccolta e l'annotazione di dati in un'attività coinvolgente e non più un impegno. I contribuenti guadagnano ricompense in base alla qualità e alla quantità del loro lavoro, mentre gli sviluppatori ottengono accesso a dataset scalabili e variabili adatti per lo training di modelli specializzati o specifici di cultura. Attraverso la combinazione di trasparenza blockchain con l'intelligenza del branco sociale, Alaya AI mira a rendere più equitativi, tracciabili e accessibili alle squadre minori che non dispongono di risorse di etichettamento in-house, i flussi di dati AI, che altrimenti potrebbero essere riservati a team più grandi con grandi risorse.
Suddivisione dei criteri
- Rete di raccolta e etichettatura di dati decentralizzata
- Sistema di ricompensa basato su token e NFT
- Attività e sfide gamificate
- Intelligenza di gregge per l'annotazione distribuita
- Supporto per le esigenze di insiemi di dati diversificati e specifici
- Monitoraggio a catena delle contribuzioni