Omniverse Audio2FaceNVIDIA'nin gerçek zamanlı, sesli eşlemekli 3B yüz animasyonlarını üretmek için sürükleyici AI aracı

Omniverse Audio2Face, NVIDIA tarafından geliştirilen bir uygulama olup, bir ses kaynağından otomatik olarak 3B mimari animasyon oluşturur. Ses girişini analiz etmek üzere önceden eğitilmiş derin sinir ağı kullanılıyor; bu sayede 3B karakterin yüz ifadesi, dudak hızı ve empati bir 3B karakterin 3B mimari animasyonunda gerçek zamanlı olarak oluşturuluyor, animasyon döngülerinde typically gerekli olan el ile çerçeveleme işleminden çok önemli bir bölümünü ortadan kaldırıyor. Otomatik olarak NVIDIA Omniverse içinde çalışır ve USD ve blendshapes gibi formatlar aracılığı ile Maya, Unreal Engine ve Blender gibi standart DCC platformlarına export desteği sunar. Custom karakter mesh'leri custom bir retargeting akışı üzerinden destekler, bu onu oyun geliştiricileri, animatörler, sanal üretim ekibi ve dijital insan veya etkileşimli avatar oluşturan yaratıcılar için işe yarar. Audio2Face, sinematik çerçevelerde offline işleme ve etkileşimli uygulamalar için live streaming destekler. Ayrıca sesli empati kontrolü ve çok dilli ses işleme özellikleri sunar.