智能汽车技术开发会议

 我们将通过三部分介绍 NVIDIA 通过生成式 AI 加速智能座舱技术发展。首先将介绍生成式 AI 在智能座舱中的应用，以及 NVIDIA 生成式 AI 加速解决方案，如大模型训练并行加速和 FP8 训练优化和实践; 第二部分将介绍使用 TRT-LLM 部署和优化多模态推理；最后将介绍 Thor SoC 如何应用于大语言模型，以及 Thor 上 LLM 部署的软件解决方案和加速。

本主题将介绍通义 Mobile-Agent 技术在汽车智能驾驶舱助手场景中的实现方案和体验。该解决方案基于纯视觉理解和多模态智能体技术，提供驾驶舱屏幕感知、复杂任务规划和 UI 决策操作能力，大大扩展了驾驶舱智能助手的能力。此解决方案是由阿里云和 NVIDIA 联合开发的端云协作解决方案。

深入了解汽车行业开发检索增强生成 (RAG) 应用所面临的挑战和创新解决方案。我们提出了一种基于 LLM 的解决方案，用于处理不同的文档格式知识文档、增强多模态理解和改进语义检索，以显著提高特定领域聊天机器人和问答系统的准确性。了解我们的方法如何将 HTML 文档的问答准确率从 58%提高到 89%，并在更有挑战性的多模态 PDF 格式上实现了 91%的惊人成绩。了解如何利用这些优化方法构建针对汽车领域的更强大、更准确的 LLM 应用。

大语言模型（LLM）在自然语言处理（NLP）和多模态模型领域的快速发展正在推动自然交互界面（NUI）技术的根本性变革。从环境理解、自然语言理解到对话管理，LLM 正在重塑现代 NUI 系统的几乎每个组件。所有这些变化带来对智能座舱中的创新用户体验带来了更多的期望。在本次演讲中，我将介绍蔚来作为智能电动汽车（EV）行业的领导者，如何率先使用先进的 LLM 技术，在智能座舱中打造革命性的用户体验。 我们利用所有 NVIDIA LLM 软件堆栈： Megatron Core：我们利用 Megatron Core 提高 LLM 和 多模态大模型语言模型（M-LLM）模型的训练效率。 TensorRT-LLM：我们在设备端 NVIDIA DRIVE AGX 平台上实施 TensorRT-LLM，从而加速 M-LLM 的部署。

通用人工智能 (AGI) 正驱动智能汽车在能力和体验方面的巨大革新，进而推动汽车智能化研发范式的变革。此演讲将探讨大模型驱动下的舱驾融合解决方案，并分享有关如何高效发挥 NVIDIA DRIVE AGX 平台的关键技术和实践。

我们将从以下四个部分介绍 NVIDIA 如何赋能端到端自动驾驶：世界模型、神经重建引擎（NRE）、模型的训练加速和自动驾驶端侧优化部署。世界模型部分将介绍其起源，自动驾驶中世界模型的应用场景以及 NVIDIA Cosmos 这一前沿的世界模型；第二，我们将介绍为什么需要NRE，并从完善可用的传感器建模、为相机和 LiDAR 渲染新视角传感器帧等方面介绍神经重建引擎；第三，我们将从视频、图像训练 Pipeline、Core Lib 和损失计算加速介绍模型在数据中心的训练加速；最后针对自动驾驶的端侧优化，我们将探讨针对 Thor 的模型优化，以及模型部署的优化内容。

在 GTC2024 大会上，我们介绍了 DriveVLM-Dual，一种快-慢思考混合的自动驾驶系统，可协同发挥端到端 (传感器数据输入、轨迹输出) 模型和视觉语言模型 (VLM) 的优势。两个模型均基于大量人类驾驶数据进行训练，并展现出符合数据量扩展定律（data scaling law）的特性，系统在真实驾驶环境中的表现随训练数据量的增加而提升。双系统被部署在双 NVIDIA DRIVE AGX 车载平台上，并已经大规模交付给终端客户，覆盖超过 40 万辆汽车。今天，我们将介绍理想 VLA（视觉-语言-行动）模型。理想 VLA 模型将快慢系统结合为一个单一大模型并赋予该模型自主决定何时采用慢思维的能力。它实现了空间感知与理解、开放世界知识、语言推理和行动策略的统一并进行联合训练和优化。此模型已经部署在下一代单 NVIDIA DRIVE AGX 的车载平台上，展现出了诸多令人兴奋的特性和能力。这套系统可以被视为一个物理世界智能体的雏形，通过语言自然地与用户互动，执行复杂、开放世界的驾驶任务。这一进步不仅标志着技术上的飞跃，也预示着一种全新、前所未有的自动驾驶产品形态的出现。

传统自动驾驶系统对复杂环境的理解和决策能力有限，元戎启行研发的 VLA 模型（Vision-Language-Action）通过融合视觉、语言理解与行动，并借助 Chain of Thought 思维链更显性地逐步解释其逻辑推理过程，显著提升了对长时序场景的精准理解和判断能力，从而让自动驾驶系统在复杂且动态变化的道路环境中，做出更加透明、更具可解释性且值得被消费者信赖的决策。展望未来，VLA 模型不仅将在智能驾驶领域持续创新，还将扩展到更广泛的物理 AI 应用，推动行业迈向更自主、智能的 AGI 时代。

汽车是具身智能的首个大规模载体，在载人帮助用户出行同时，也载着AI规模化进行着物理世界探索并数字化。小米智驾借助SU7在物理世界的探索，使用AI持续提升对物理世界建模的完整性和精准度。同时，基于 NVIDIA Triton 重构云端推理服务 pipeline，GPU 吞吐提升提升一倍以上，基于 NVIDIA DALI、CV-CUDA 等技术进行模型训练加速，小米持续迭代拓展智驾能力。自 SU7 量产交付后9个月内，完成了有图、无图、端到端三代技术升级。

在从规则驱动模型向数据驱动模型转变的趋势下，汽车公司在构建自动驾驶数据闭环方面面临着诸多挑战。我们将分享对基于边缘到云技术构建数据闭环功能的见解。除了双 5G 连接、数据合规性之外，该解决方案还包括由 NVIDIA 技术 (尤其是 NVAIE ) 提供支持的自动数据处理、自动标注、模型训练工作流、场景构建和挖掘以及仿真。通过将大数据和大模型与开发流程相结合，我们的目标是加速汽车公司的高水平自动驾驶研发。

卓驭作为国际一流的智能驾驶供应商及服务商，以“为所有人，提供安全、轻松的出行体验”为使命，提供行业领先的智能驾驶系统及自研核心零部件，为多种价位、多种动力类型的乘用车提供灵活多样的高阶智能驾驶解决方案，推动高阶智能驾驶功能全面普及，提升消费者的智能驾驶体验。演讲内容将为听众介绍卓驭端到端世界模型的最新技术进展、相关量产成果以及未来规划。

GTC Watch Party 是由 NVIDIA 本地专家主持，以中文讲解，带领参与者同步观看某一精选演讲并解读和实时答疑的会议形式。这是一个互动式的会议，我们鼓励您在聊天区参与讨论，提出见解或问题。但请注意，下方列出的原始演讲者可能不会出席本会议。

会议主持人：

Michael Zhao, Senior Marketing Manager, NVIDIA

AI-defined vehicles are shaping the future of autonomous driving. To safely develop and deploy these vehicles, an end-to-end platform that combines high-performance in-vehicle computing and a scalable infrastructure is required. See how NVIDIA is leading this AI-centric approach with our three-computer solution, spanning from the cloud to the car, and gain insights into how generative AI is accelerating the industry toward a foundation model-empowered, end-to-end approach to bring the autonomous driving experience to the next level.

• AI-defined vehicles are revolutionizing autonomous driving with the need for integrated, end-to-end platforms
• NVIDIA’s three-computer solution spans from cloud to car, enabling scalable and high-performance in-vehicle computing
• Generative AI is driving the advancement of foundation models, accelerating the development of safer, more reliable autonomous driving

在会议开始时间前 15 分钟，登录状态下，下方会出现一个【Join Watch Party Now】的链接。点击该链接，可以在您的电脑上或从您的网络浏览器中启动 Microsoft Teams 参加会议。

GTC Watch Party 是由 NVIDIA 本地专家主持，以中文讲解，带领参与者同步观看某一精选演讲并解读和实时答疑的会议形式。这是一个互动式的会议，我们鼓励您在聊天区参与讨论，提出见解或问题。但请注意，原始演讲者可能不会出席本会议。

会议主持人：

Anqi Luo, Marketing Manager, NVIDIA

This session will elaborate NVIDIA’s strategy for compliance with safety regulations and international standards, including the implications related to the use of AI-based, end-to-end autonomous vehicle (AV) stacks. Learn how ecosystem partners can benefit from this strategy.

• The challenges in complying with the evolving regulation and standardization environment, and NVIDIA’s solutions
• The impact of AI in regulation and standardization
• The role of NVIDIA AI Systems Inspection Lab in assisting ecosystem safety

在会议开始时间前 15 分钟，登录状态下，下方会出现一个【Join Watch Party Now】的链接。点击该链接，可以在您的电脑上或从您的网络浏览器中启动 Microsoft Teams 参加会议。

探索 AI 如何改变汽车设计流程，重点关注三个关键领域： 使用 NVIDIA Modulus 进行空气动力学预测，显著减少传统计算方法所需的时间成本，提升分析效率。 在 Omniverse 中可视化风阻预测结果，帮助决策者更直观地理解空气动力学表现，从而做出更精准的设计优化和性能改进决策。 利用 Stable Diffusion 生成汽车内饰设计样式参考，能够为造型创意设计提供多样化的灵感，快速探索不同风格和元素组合。 我们将指导您了解 AI 在汽车设计中的实际应用，并就这些先进技术如何重塑行业提供见解。 Explore how AI is transforming the automotive design process with a focus on three key areas: using NVIDIA Modulus for aerodynamic prediction, visualizing these predictions in Omniverse, and leveraging Stable Diffusion to generate car interior designs as styling references. We'll guide you through the practical applications of AI in automotive design, offering insights into how these advanced technologies are reshaping the industry.

AI-defined vehicles are shaping the future of autonomous driving. To safely develop and deploy these vehicles, an end-to-end platform that combines high-performance in-vehicle computing and a scalable infrastructure is required. See how NVIDIA is leading this AI-centric approach with our three-computer solution, spanning from the cloud to the car, and gain insights into how generative AI is accelerating the industry toward a foundation model-empowered, end-to-end approach to bring the autonomous driving experience to the next level.

This session demonstrates how NVIDIA is leveraging our Cosmos World Model Development platform and end-to-end world models to safely develop and deploy autonomous vehicles. Learn how customers are accelerating current workloads, and adopting new technologies to curate video data, find the most valuable data assets to train complex and rare corner cases, fine-tune AV world models, and enable video generation for the most complete coverage of simulation and validation scenarios. Additionally, we showcase the scalable infrastructure needed to deliver the performance and efficiency necessary for developing safe AVs at scale.

Learn how the NVIDIA Omniverse Blueprint for AV Simulation and Cosmos are enabling AV developers to enhance their simulation workflows and solve the most important problems in AV development and testing. This session will feature workflows developed by NVIDIA's AV simulation ecosystem partners for scenario creation, synthetic data generation, 3D reconstruction and closed loop simulation.

Agentic AI and multi-modal large language models are transforming the automotive industry — both inside and outside the vehicle. See how agentic AI and LLMs enable the development of intelligent autonomous driving systems, AI-powered in-car experiences through virtual assistants, and customer experiences such as AI-chatbots and knowledge co-pilots that help reduce costs while increasing revenue for automakers.