使用生成式 AI 可以即时从一个音频来源创建面部表情动画。
系统配置需求 | 设置指南
Omniverse™ Audio2Face 测试版是一款参考应用，可让您更轻松地根据任何配音音轨制作 3D 角色动画，无论您是为游戏角色、电影角色或实时数字助理制作动画，还是单纯为了获得乐趣，都可以轻松实现。您可以在交互式实时应用场景中使用该应用，也可以将其用作传统的面部动画创作工具。实时运行结果还是烘焙结果，由您决定。
Audio2Face 预装有“Digital Mark”。这是一个 3D 角色模型，可以使用您的音轨进行动画处理，只需选择并上传您的音频即可，入门非常简单。然后，该应用会将音频输入馈送到经过预训练的深度神经网络，并根据输出调整角色网格的 3D 顶点，以实时创建面部动画。您也可以通过修改各种后处理参数来修改角色的动画效果。您在此页面上看到的结果主要为 Audio2Face 的原始输出，很少或没有编辑过后处理参数。
只需录制语音音轨，然后输入到该应用中，即可看到您的 3D 面孔变得活灵活现。您甚至可以通过麦克风实时生成面部动画。
Audio2Face 将能够轻松处理任何语言。此外，我们将不断更新该应用，使其能够处理越来越多的语言。
您可以使用 Audio2Face，重新定位至不同 3D 人类面孔或人类式面孔（写实或非写实）。只需单击几下，即可快速变换角色（无论是人类还是动物）。
您可以轻松运行多个 Audio2Face 实例，并可以任意指定场景中的角色数量 – 所有角色均通过相同或不同的音轨制成动画。在对话的二人组、清唱的三人组和协调一致的四人组等当中融入生命力和声音。此外，您还可以对每个面部的面部表情细腻程度进行调整，并从多个音频源批量输出多个动画文件。
Audio2Face 让您能够在眨眼之间选择角色的情绪，并为其制作相应的动画。AI 网络会自动操纵脸部、眼睛、嘴部、舌头和头部运动，以匹配您选择的情绪范围和定制的情绪强度水平，或自动直接从音频剪辑中推断情绪。
素材来源：Blender Studio
得益于近期更新，Omniverse Audio2Face 现在实现了 BlendShape 转换和 Blendweight 导出选项。此外，该应用现在支持通过 Blender 的 Blendshapes 和 Epic Games 虚幻引擎执行导出与导入操作，从而能够让他们利用各自的 Omniverse 连接器生成角色的动作。
制作奇幻生物和外星人的面部动画。在此，我们让 Digital Mark 驱动外星人的行为表现。
Misty 是一款交互式天气机器人，在 2020 年春季的 GTC 大会上亮相展示，运行时由 Audio2Face 生成。我们演示了从真实的人类网格到风格化的角色网格的重新定位，将机器人用作交互式服务人员。
Audio2Face 将在 GeForce 30 系列发布期间同步推出，并在 Omniverse Machinima 演示视频中有所展现。面部动画非常复杂且成本过高。Audio2Face 可自动生成精致的面部动画，普及 3D 内容创建流程。
NVIDIA Omniverse 能够帮助我为数字人制作更自然的效果并加快工作流，让我可以将更多时间用于创意工作。
– Anderson Rohr，3D 艺术家
找到适合您的 3D 工作流的合适许可证，立即开始探索 Omniverse。
免费下载和创建
作为用以无缝连接并增强 3D 创意应用的中心，Omniverse 能统一整合资产、库和工具，从而实现真正无间断的工作流，让艺术家实现更大程度的创作自由。
免费开发和分发
Omniverse 是专为开发者打造的，可让他们在每层自定义 3D 工作流，以便他们轻松构建新的 Omniverse Connector、扩展程序、应用及微服务。
免费试用 | 年度许可证
Omniverse Enterprise 可为任何规模的企业组织转变复杂的设计工作流。它可以借助使用集中式项目数据的多个应用与多个用户和地点进行实时协作。
第 1 步
下载 NVIDIA Omniverse 并运行安装程序。
第 2 步
安装后，打开 Omniverse Launcher。
第 3 步
在“Apps”（应用）部分中找到 Omniverse Audio2Face，然后依次单击“Install”（安装）和“Launch”（启动）。
了解全套 NVIDIA Omniverse 应用和连接器，或尝试我们提供的以下建议。
一个集成开发环境 (IDE)，供开发者和高级用户轻松构建 Omniverse 扩展程序、应用或微服务。
利用适用于创作者的 AI 赋能工具包，重新混合、创建和定义动画电子游戏故事情节。
利用 Pixar USD 加速先进的环境构建，并以交互方式实时组装、模拟和渲染场景。
利用此功能强大、物理精准的交互式逼真可视化工具，协作审查设计项目。
我们提供了数百个免费教程、课程以及初学者培训资料，供您参考，了解如何开始使用 USD。
赶快加入社区！参加我们每周在 Twitch 上的直播，在 Discord 和论坛上联系我们。
遇到问题？ 您可以在论坛中发帖提问，以便获得 Omniverse 专家的快速指导；也可以参阅平台文档。
打造了 Omniverse 杰作？ 请提交至 Omniverse 图库，在那里您可以获取灵感，也可以启发他人。