查找合适的许可证,在任何平台上为任何应用部署、运行 AI 并使其规模化。
适用于希望获取 Triton 推理服务器开源代码进行开发的个人。
适用于希望获取免费 Triton 推理服务器容器进行开发的个人。
适用于希望购买 Triton 用于生产部署的企业。
NVIDIA Triton 推理服务器简称 Triton,是一款开源推理服务软件。通过该软件,团队可以在任何基于 GPU 或 CPU 的基础架构(云、数据中心或边缘)上部署、运行和扩展源于任何框架的 AI 模型,包括 TensorFlow、NVIDIA TensorRT™、PyTorch、ONNX、XGBoost、Python、自定义框架等。如需了解更多信息,请访问 Triton 网页。
Triton Model Analyzer 是一款离线工具,用于优化推理部署配置(批大小、模型实例数量等),以便遵守计划部署的 GPU 或 CPU 上吞吐量、时延和/或存储限制。它支持对单个模型、模型集成和多个并发模型进行分析。
NVIDIA AI Enterprise 软件套件包含 Triton,这是一个端到端的 AI 软件平台,能够提供企业级的支持服务,安全稳定性和可管理型。NVIDIA AI Enterprise 提供商业标准版的支持,包括对话 NVIDIA AI 专家,客户培训,访问知识库资源等权限。客户也可以选择额外的企业支持和服务,包括获取关键业务支持,专属技术客户经理,培训和专业服务。如需了解更多信息,请访问《企业级支持和服务用户指南》。
有,NVIDIA Launchpad 有多个使用 Triton 的实验室。
NVIDIA LaunchPad 项目旨在对用户短期授权,让他们可以通过网络浏览器访问 NVIDIA 企业级硬件和软件。用户可以从大量的实战实验中进行选择,尽情体验针对 AI、数据科学、3D 设计和基础架构优化等用例打造的解决方案。企业可以立即使用私有托管式基础架构上的必要硬件和软件堆栈。
可以。Triton 是生态系统中进行 AI 推理和模型部署的理想选择。用户可在 AWS,微软 Azure 和 Google Cloud 的 Marketplace 购买 NVIDIA AI Enterprise 以使用 Triton。此外,您还可以通过阿里云、Amazon Elastic Kubernetes Service (EKS)、Amazon Elastic Container Service(ECS)、Amazon SageMaker、Google Kubernetes Engine(GKE)、Google Vertex AI、HPE Ezmeral、Microsoft Azure Kubernetes Service(AKS)、Azure Machine Learning 以及 Oracle Cloud Infastructure 数据科学平台使用 Triton。
及时了解 NVIDIA 最新发布的 AI 推理资讯。
NVIDIA 隐私政策