Omniverse Audio2FaceOutil NVIDIA alimenté par l'IA pour générer une animation faciale 3D synchronisée avec la voix en temps réel

Omniverse Audio2Face est une application NVIDIA qui génère automatiquement une animation faciale 3D à partir d'une source audio. À l'aide d'un réseau neuronal profond pré-entraîné, il analyse l'entrée vocale et contrôle les expressions faciales, la synchronisation des lèvres et l'émotion d'un personnage 3D en temps réel, éliminant une grande partie du travail de keyframing manuel généralement requis dans les pipelines d'animation. L'outil fonctionne au sein de NVIDIA Omniverse et prend en charge l'exportation vers des plateformes DCC standard telles que Maya, Unreal Engine et Blender via des formats tels que USD et blendshapes. Il fonctionne avec des maillages de personnages personnalisés via un flux de travail de réaffectation, le rendant utile pour les développeurs de jeux, les animateurs, les équipes de production virtuelle et les créateurs de personnages numériques ou d'avatars interactifs. Audio2Face prend en charge à la fois le traitement hors ligne pour les travaux cinématographiques et la diffusion en direct pour les applications interactives, avec des contrôles d'émotion ajustables et une gestion audio multilingue.