NVIDIA 的推理平台可在云、数据中心、网络边缘以及自主机器等平台上提供至关重要的性能、效率和响应速度，借此为新一代 AI 产品和服务提供支持。
NVIDIA Triton™ 推理服务器是一款开源软件，可在生产环境中实现快速且可扩展的 AI 推理。Triton 允许团队在任何基于 GPU 或 CPU 的基础架构上通过任何框架（TensorFlow、PyTorch、XgBoost、Python 等）部署经过训练的 AI 模型。它可更大限度地提高 GPU 和 CPU 利用率，提供低延迟的高吞吐量，并与 Kubernetes 集成以实现编排、指标和自动扩展