NVIDIA Omniverse Audio2Face 现已提供公测版。借助 Audio2Face 应用程序,Omniverse 用户可以从音频源生成 AI 驱动的面部动画。

从游戏开发和视觉效果到对话式 AI 和医疗健康,各行各业对数字人的需求与日俱增。但动画过程繁琐、手动且复杂,而且现有工具和技术可能难以将其用于或实施到现有工作流中。

借助 Omniverse Audio2Face,任何人都可以创建逼真的面部表情和动作,以匹配任何配音音轨。该技术将音频输入到基于 NVIDIA 的预训练深度神经网络,而网络输出会实时生成 3D 角色的面部动画。

公测版包括:

  • 音频播放器和录制器:录制并回放音频轨道,然后将文件输入到神经网络,以获得即时的动画结果。
  • 实时模式:使用麦克风来实时驱动 Audio2Face。
  • 角色传输:将生成的动作重新定位到任何 3D 角色的面部,无论是逼真还是风格化的角色。
  • 多实例:运行同一场景中多个角色的多个 Audio2Face 实例。

 

详细了解 NVIDIA Omniverse Audio2Face,并立即加入公测版。