NVIDIA ACE (Avatar Cloud Engine) 是一套可帮助开发者利用生成式 AI 创建栩栩如生的虚拟数字人物的技术。在 ACE 的加持下,普通的非玩家角色 (NPC) 可以摇身一变,成为能够发起对话或引导玩家找到新任务的动态交互式角色。
在 CES 2024 上,我们宣布推出适用于 NVIDIA Audio2Face (A2F) 和 NVIDIA Riva 自动语音识别 (ASR) 的 ACE Production Microservices,并且我们正在与杰出的虚拟数字人物开发者合作,致力于将 NVIDIA ACE 技术呈现给游戏玩家。
我们还通过新发布的 NVIDIA Kairos ACE demo 展示了我们与 Convai 的最新合作成果,展示新一代 AI NPC 将如何彻底改变游戏。Convai 是一个 NPC 开发平台,可让开发者轻松地让 3D 世界中的角色拥有类似人类的对话、感知和动作能力。
NVIDIA ACE Production Microservices 现已推出
借助 ACE,中间件、工具和游戏开发者可以将先进的 AI 模型 (例如 A2F 和 RIVA ASR) 纳为己用,并实现到游戏和应用的虚拟数字人物解决方案中。
Riva ASR 使玩家能够通过麦克风与 AI 角色对话,而无需输入文字。ASR 模型的目标是让游戏玩家能够通过自然随意的口头表达,获得身临其境的效果并实现动态对话。
Audio2Face 则能够仅通过音频源 (例如文本转语音模型) 为游戏角色生成富有表现力的面部动画。A2F 不仅能用于实时生成面部表情和同步口型,也能用于离线创建面部神态。由于 NPC 的声线具有不确定性,因此实时运算已成为 AI NPC 的刚性需求。除了自由的 AI 对话之外,开发者还需要使用 A2F 等模型来生成逼真的面部神态。
顶级虚拟数字人物开发者纷纷采用 NVIDIA ACE
顶级交互式虚拟人物和游戏开发者正在探索如何通过 ACE 和生成式 AI 技术改变玩家与角色的互动。除了 Convai 之外,目前积极迎接 ACE 的开发者包括 Charisma.AI、Inworld、米哈游、网易游戏、掌趣科技、腾讯游戏、育碧和 UneeQ。
Convai 创始人兼首席执行官 Purnendu Mukherjee 表示:“虚拟世界中由生成式 AI 驱动的角色从此解锁了许多以前不可能实现的案例和体验, Convai 正在通过 Riva ASR 和 A2F 创造栩栩如生的非玩家角色,并努力确保这些角色具备低延迟的响应速度和高保真且自然的动画效果。”
腾讯游戏表示:“这无疑是 AI 在游戏领域的里程碑。NVIDIA ACE 和腾讯游戏甘做引路人,为电子游戏塑造独一无二、个性鲜明且互动自然的虚拟数字人物。”
“多年来,NVIDIA一直是游戏技术的先锋,提供新的创新方法来创建游戏。英伟达正在通过采用游戏人工智能技术,让游戏变得更加智能和可玩,最终创造出更加身临其境的体验。” ——胡志鹏,网易高级副总裁,雷火事业群负责人
Convai 新技术助力 Kairos Demo 不断进化
Open-ended conversations with NPCs open up a world of possibilities for interactivity in games. However, conversation should have consequences that could lead to potential actions. To carry out actions from NPCs, they need to be aware of the world around them and be able to interact dynamically. With our partner Convai and their latest releases, we take our collaborative demo to the next level, enabling these AI NPCs with the following new features:
- Spatial Awareness - enables game characters to identify and interact with objects and engage in conversations about their surroundings. For example, the player can point at items, and the character will talk about the item intelligently.
- Actions - enable game characters to interact with items in the game world based on the conversation. For example, delivering a bottle of sake when requested.
- NPC-to-NPC Interaction - enables game characters to interact with each other, bringing the world alive even when the player is idle.
In addition, Convai has integrated the new NVIDIA ACE microservices: Audio2Face and Riva ASR. With the addition of the new ACE microservices in Convai’s pipeline, game characters will have improved lip sync, better expression, and accurate speech detection when listening to the player.
Let’s take a look at the new Kairos demo.
NVIDIA ACE:使游戏人物栩栩如生
生成式 AI 技术将彻底改变游戏,让 NPC 不再局限于预先录制的脚本,而是能与玩家进行有意义的互动。玩家的行为可能会影响平民和关键角色的反应,而且 NPC 不再只会一遍遍重复相同的台词。
NVIDIA 正在积极面向各行各业开拓生成式 AI 技术。NVIDIA 在 CES 2024 展会上宣布了多项进展和创新,如需详细了解所有发布内容,请访问此处。
您也可以在此处订阅,及时了解有关 NVIDIA ACE、未来发展和抢先体验计划的最新信息。也欢迎您访问 GeForce.cn,探索 NVIDIA RTX 技术和 GeForce RTX GPU 在最新游戏中的更多用途。