NVLink 交换机芯片

NVLink 和 NVLink Switch

高速、多 GPU 通信的基础模组,助力将大型数据集更快地输入模型并在 GPU 之间快速交换数据。

速度更快的纵向扩展互连已成为当前的迫切需求

是否能释放百亿亿次级 (Exascale) 计算和万亿参数 AI 模型的全部潜力取决于服务器集群中每个 GPU 之间能否快速、顺畅地通信。第五代 NVIDIA® NVLink® 是一种纵向扩展的互连,可为万亿和数万亿参数 AI 模型释放加速性能。

NVLink 性能

NVIDIA H100 中的 NVLink 将 GPU 间通信带宽提升至前一代的 1.5 倍,因此研究人员可以使用更大、更复杂的应用程序来解决更复杂的问题。

通过 NVLink 通信提高 GPU 吞吐量

使用 NVIDIA NVLink 和 NVLink 交换机完全连接 GPU

NVLink 是一种 GPU 之间的直接互连,双向互连速度达 1.8 TB/s,可扩展服务器内的多 GPU 输入/输出 (IO)。NVIDIA NVLink 交换机 ASIC 可连接多个 NVLink,实现在单个机架内和多个机架间以 NVLink 能够达到的最高速度进行多对多 GPU 通信。

为了支持高速集合运算,每个 NVLink 交换机都配有 NVIDIA SHARP™ 技术引擎,可用于网络内归约和组播加速。

NVIDIA NVLink 交换机

NVIDIA NVLink 交换机配备 144 个 NVLink 端口,无阻塞交换能力为 14.4 TB/s。机架交换机可为 NVIDIA GB200 NVL72 系统提供高带宽和低延迟,支持第五代外部 NVLink 连接。


从企业级计算扩展至百亿亿次级 (Exascale) 计算

通过完全连接实现非凡性能

NVLink 交换机是首款 ASIC 芯片技术机架级交换机,能够在无阻塞计算结构中支持多达 576 个全连接 GPU。NVLink 交换机能以惊人的 1800GB/s 的速度互连每对 GPU。它还支持完整的多对多通信。GB200 NVL72 系统中的 72 个 GPU 可用作单个高性能加速器,拥有高达 1.4 exaFLOPS 的 AI 计算能力。

功能强大的 AI 和 HPC 平台

NVLink 和 NVLink 交换机是整个 NVIDIA 数据中心解决方案的必要基础模组,该解决方案融合了来自 NVIDIA AI Enterprise 软件套件和 NVIDIA NGC™ 目录中的硬件、网络、软件、库以及优化的 AI 模型和应用。作为强大的端到端 AI 和高性能计算平台,它让研究人员能够更快地得到真实的结果,并能将解决方案部署到生产环境中,从而在各种规模上实现出色的加速。

深入研究 NVIDIA Blackwell 架构