NVIDIA A100 Tensor Core GPU

智能 NPC 和数字人的概念长期以来一直应用于娱乐行业和社交媒体平台，包括人工智能驱动的主持人、评论员和网红。但开发具有高视觉保真度的逼真智能 AI 通常需要大量时间，而且成本很高，很难扩大规模。 在科幻生存游戏《星球重启》项目中，我们提出了一个 GPU 驱动的系统，包括文本到语音模块、音频到全身动画模块、视频分析模块、渲染模块和聊天机器人模块，基于这些模块可以构建一个逼真的实时交互数字人。在 NVIDIA Omniverse 的支持下，我们可以实时高效地渲染李星澜，而且其中的动画模块将根据后端聊天机器人的输出自动驱动角色模型的运动。动画模块和后台聊天机器人都是基于自定义开发的深度神经网络。使用 NVIDIA Omniverse ACE，我们能够在两天内完全训练 audio2motion 和 text2speech 模型，并在 5 天内训练超大参数的 Chatbot 神经网络模型，我们使用了超过 10tb 的训练数据。 在本次演讲中，我们将介绍如何利用 NVIDIA Omniverse 和 NVIDIA GPU，利用计算机图形学和人工智能功能构建李星澜数字人项目。

源于百度业务对人工智能技术的广泛应用，飞桨深度学习平台结合应用持续创新，研发了业界领先的大规模分布式训练技术。飞桨先后发布了4D混合并行训练、端到端自适应分布式训练、超大规模图训练引擎等核心技术，并基于这些技术支持文心大模型的训练和部署。目前，文心大模型已经覆盖基础大模型、任务大模型、行业大模型的三级体系，飞桨+文心大模型赋能千行百业的智能化升级。

大规模向量检索引擎在腾讯诸多业务中有所应用，在百亿级召回场景中提供低延迟、高召回率的在线服务。但随着索引规模的增加，向量索引的构建已经成为日常索引更新瓶颈。离线向量 IVF 索引构建，在引入 GPU 优化之前，索引构建工作依托 Hadoop 平台进行，引入 NVIDIA GPU 改造后索引构建成本降低 60%。索引构建的优化工作主要由两部分组成： 1. IVF KMeans 聚类。在百亿规模向量索引场景下索引构建需要产出千万级的聚类中心。与 NVIDIA 深入合作，集成开源的 RAPIDS Raft 计算库中分层 Kmeans 算法代替原有的 CPU 聚类方法，使用 cutlass 加速向量矩阵运算，使得 Kmeans 训练耗时压缩 90%。 2. 百亿向量在海量聚类中心上的 FIT 过程。百亿级的向量在千万级聚类中心的 FIT 在原有的索引构建方案中是耗时最大的步骤。通过引入 GPU cutlass 加速，FIT 耗时压缩 75%。