Multimodal AI Duel — 7 février 2025

1

Omniverse Audio2Face

Outil NVIDIA alimenté par l'IA pour générer une animation faciale 3D synchronisée avec la voix en temps réel

4.6 (5)

Freemium

Avis complet

Omniverse Audio2Face est une application NVIDIA qui génère automatiquement une animation faciale 3D à partir d'une source audio. À l'aide d'un réseau neuronal profond pré-entraîné, il analyse l'entrée vocale et contrôle les expressions faciales, la synchronisation des lèvres et l'émotion d'un personnage 3D en temps réel, éliminant une grande partie du travail de keyframing manuel généralement requis dans les pipelines d'animation. L'outil fonctionne au sein de NVIDIA Omniverse et prend en charge l'exportation vers des plateformes DCC standard telles que Maya, Unreal Engine et Blender via des formats tels que USD et blendshapes. Il fonctionne avec des maillages de personnages personnalisés via un flux de travail de réaffectation, le rendant utile pour les développeurs de jeux, les animateurs, les équipes de production virtuelle et les créateurs de personnages numériques ou d'avatars interactifs. Audio2Face prend en charge à la fois le traitement hors ligne pour les travaux cinématographiques et la diffusion en direct pour les applications interactives, avec des contrôles d'émotion ajustables et une gestion audio multilingue.

• Animation faciale guidée par l'audio via l'apprentissage profond
• Synchronisation labiale et contrôle d'émotion en temps réel
• Rétargeting de personnage vers maillages personnalisés
• Pipelines d'exportation Blendshape et USD
• Mode de streaming en direct pour avatars interactifs
• Prise en charge d'entrées vocales multilingues

2

Humane AI Pin

Assistant intelligente pour appareil mobile conçu comme une alternative sans écran.

4.5 (6)

Freemium

Avis complet

Le Humane AI Pin est un petit appareil portable magnétiquement attaché qui utilise la voix, les gestes et un affichage projeté au laser pour fournir des interactions de type assistant sans écran traditionnel. Il associe des caméras embarquées, des microphones et des capteurs à des grands modèles de langage (LLM) pour répondre aux questions, traduire des langues, capturer des photos, résumer des messages et identifier les objets en vue. Commercialisé en tant que dispositif d'informatique ambiante, le Pin vise à réduire la dépendance aux téléphones en affichant les informations uniquement lorsque cela est nécessaire. Il fonctionne sur son propre plan cellulaire plutôt que de s'appuyer sur un smartphone, et prend en charge les commandes en langage naturel au lieu des applications. Le produit a reçu des critiques mitigées lors de son lancement en raison de la durée de vie de la batterie, de la latence et de la précision, et depuis, Humane a ajusté sa feuille de route. Il reste une expérience précoce notable dans le domaine du matériel portable autonome axé sur l'IA.

• Assistant vocale de type AI
• Projection laser de police d'afficheur sur le palmarès
• Traduction de langage en temps réel
• Reprise photographique et d'images court métrage
• Reconnaissance d'objets et de scènes contextualisés
• Plan de donnée cellulaire autonome

3

Project Astra

L'agent universel d'IA de Google DeepMind qui voit, entend et raisonne sur le monde en temps réel.

5.0 (4)

Freemium

Avis complet

Project Astra est un assistant universel alimenté par l'IA expérimental de Google DeepMind conçu pour aider dans les tâches quotidiennes en comprenant le monde de la même façon que les humains. Il traite simultanément les vidéos, les sons, les images et le texte, permettant aux utilisateurs de pointer une caméra ou de parler de manière naturelle et de recevoir des réponses conscientes du contexte. Conçu sur la base des modèles Gemini de Google, Astra est conçu pour une interaction conversationnelle à faible latence avec une mémoire persistante du contexte récent. Il est présenté comme un prototype de recherche explorant la manière dont un agent polyvalent pourrait éventuellement fonctionner sur les téléphones, les lunettes intelligentes et autres appareils ambiants. Bien que ne soit pas encore un produit disponible publiquement, Astra indique la direction que Google prend pour une IA agente capable d'observer son environnement, de se souvenir de ce qu'elle a vu et de prendre des mesures utiles au nom d'un utilisateur.

• Compréhension de vidéos et d'images en temps réel
• Interface conversationnelle basée sur la voix
• Mémoire contextuelle persistante
• Raisonnement multimodal au travers du texte, de l'audio et de la visuelle
• Intégration de la famille de modèles Gemini
• Support de prototype pour les lunettes intelligentes et les téléphones mobiles

Hume AI développe des modèles de voix et de langage conçus pour interpréter et répondre aux signaux émotionnels dans la parole humaine. Son interface vocale empathique phare (EVI) combine la synthèse de la parole expressive avec l'analyse en temps réel du ton, de la prosodie et du sentiment, permettant des conversations qui semblent plus naturelles que les assistants vocaux classiques. Les développeurs peuvent accéder aux capacités de Hume via les API et les SDK pour créer des applications dans des domaines tels que le soutien à la santé mentale, le service client, l'accessibilité et le divertissement interactif. La plateforme propose également des outils de mesure de l'expression pour analyser les signaux émotionnels dans les données vocales, faciales et linguistiques. Hume se positionne autour d'un déploiement responsable, publiant des recherches sur l'informatique affective et adhérant à des lignes directrices éthiques pour l'utilisation de l'IA émotionnelle.

• Interface vocale empathique (EVI)
• Mesure d'expression à travers la voix, le visage et le texte
• Personnalités vocales personnalisables
• Diffusion conversationnelle à faible latence
• API REST et WebSocket
• Lignes directrices et documentation pour une utilisation éthique

5

Alaya AI

Marché de données Web3 reliant les développeurs d'IA à des contributeurs mondiaux via des incitations ludiques.

4.8 (5)

Freemium

Avis complet

Alaya AI est une plateforme décentralisée qui relie les développeurs de modèles d'intelligence artificielle aux fournisseurs de données distribuées via une structure communautaire Web3. Elle se concentre sur l'approvisionnement en données de formation diversifiées et de haute qualité pour l'apprentissage automatique en puisant dans un réseau mondial de contributeurs qui étiquettent, valident et soumettent des ensembles de données. La plateforme utilise la gamification, des jetons et des NFT pour motiver la participation, transformant la collecte et l'annotation de données en une activité engageante plutôt qu'une corvée. Les contributeurs gagnent des récompenses en fonction de la qualité et de la quantité de leur travail, tandis que les développeurs ont accès à des jeux de données évolutifs et variés adaptés à l'entraînement de modèles spécifiques à un créneau ou à une culture. En combinant la transparence de la blockchain avec l'intelligence collective sociale, Alaya AI vise à rendre les pipelines de données d'IA plus équitables, traçables et accessibles aux petites équipes qui n'ont pas de grandes ressources de marquage en interne.

• Réseau décentralisé de collecte et d'étiquetage de données
• Système de récompense basé sur des jetons et des NFT
• Tâches ludiques et défis communautaires
• Intelligence en essaim pour l'annotation distribuée
• Prise en charge des besoins en ensembles de données diversifiés et de niche
• Suivi en chaîne des contributions