物理 AI
NVIDIA Cosmos
利用基础世界模型，加速物理 AI 开发。
概述
NVIDIA Cosmos 是什么？
NVIDIA Cosmos™ 是一个整合前沿生成式世界基础模型 (WFM)、先进分词器、护栏以及用于加速数据处理和治理的高效工作流的集成平台，旨在加速物理 AI 系统的开发，如自动驾驶汽车 (AVs) 和机器人。
模型
NVIDIA Cosmos 基础世界模型
专为生成物理 AI 开发所需的物理感知视频和世界状态而构建的预训练模型系列。
点击此处了解有关模型架构、开发资源和可用性的详情。
先进模型系列
- 用于 Text-to-World 和 Video-to-World 生成的自回归和扩散模型，参数量级达 40 亿至 140 亿，轻松满足各种需求。
- 120 亿参数的上采样模型用于精确文本提示，提供更高的准确性和生成输出细节。
- 70 亿参数模型专为解码视频序列而设计，针对增强现实应用进行了优化。
内置护栏
- 前护栏，用于过滤品牌信息、不适宜内容以及有害提示。
- 后护栏，用于剔除存在问题的场景。
- 模糊人脸护栏。
- 通过 NVIDIA API 目录上的 Preview API 生成的合成视频上的数字水印。
基准测试
物理 AI 性能之旅
NVIDIA 正在与机器人和自动驾驶汽车生态系统合作开发一套基准，旨在评估基于基础世界模型的物理 AI 应用的独特需求。
Cosmos 基准测试旨在评估下一代世界模型，其先进标准包括 3D 一致性和物理对齐等对机器人和自主系统至关重要的功能。
与视频合成的基线生成模型 VideoLDM (VLDM) 相比，Cosmos WFM 在几何精度方面表现出色，Sampson 误差更低，时间稳定性更好。 基准测试还基于重力和碰撞动力学等物理行为评估 WFM。
Cosmos WFM 在视觉一致性方面始终优于 VLDM，实现了高达 14 倍的姿态估计成功率。 扩散模型提供更高的保真度，而自回归模型则为定制模型提供出色的性能。
应用场景
开发者如何使用 NVIDIA Cosmos
了解机器人、自动驾驶汽车和视觉 AI 的开发者如何使用 Cosmos 来推进他们的工作。
-
视频搜索
-
可控的 3D 转现实
-
策略模型
-
预见能力
-
多元宇宙仿真
视频搜索
Cosmos 帮助开发者为他们的 AI 模型训练构建定制数据集。 无论是为自动驾驶汽车准备的雪地道路视频，还是为机器人设计的繁忙仓库场景，Cosmos 通过理解空间和时间布局，简化了视频打标和搜索过程，使训练数据准备更轻松。
这节省了时间，降低了成本，并有助于提供高度相关且有影响力的 AI 模型。
生态系统
已被领先的物理 AI 创新者接受
来自机器人、自动驾驶汽车和视觉 AI 行业的模型开发者正在使用 Cosmos 来加速物理 AI 的开发。
