机器人仿真

NVIDIA Isaac Sim™ 是一款基于 NVIDIA Omniverse™ 构建的参考应用，可供您用于在仿真环境中构建、训练、测试和验证 AI机器人，例如人形机器人、自主移动机器人 (AMR) 和机械臂。

1. 导入资产：使用在 3D CAD 或 DCC 软件工具中构建的现有资产。这些资产需要在使用 Isaac Sim 之前转换为通用场景描述 (OpenUSD)
2. 环境创建：
3. 添加机器人：场景设置完毕后，可以通过通用机器人描述格式 (URDF) 导入机器人模型。URDF 还包含视觉网格和 Prim 层次结构（子-父关系），以及信息碰撞网格、关节和传感器。
4. 添加物理特性和传感器：为了在现实世界中正确交互，需要为机器人分配物理属性。刚体和可变形体的物理特性仿真以及借助 NVIDIA® PhysX® 物理引擎实现的关节连接，使机器人能够掌握所处环境的运动学。还需要添加视觉传感器（如摄像头）和非视觉传感器（如雷达、IMU 等）来捕捉机器人的行为。
5. 交互：本流程的最后一步是在各种时空场景中对机器人进行仿真。

仿真可通过加速基础模型的训练来解锁新型用例，或者通过合成数据生成 (SDG) 加速预训练 AI 模型的微调流程。它可以由视觉和非视觉频谱中的文本、2D 或 3D 图像组成，甚至可以与真实世界数据结合使用来训练多模态物理 AI 模型。

域随机化是 SDG 工作流的关键步骤，在这一步中，可以通过改变场景中的许多参数来生成多元化数据集，从对象的位置到颜色、纹理，再到照明。后处理阶段的增强通过添加缺陷（如局部模糊、像素化、随机裁剪、偏斜和混合），使生成的数据进一步多元化。

此外，生成的图像会被自动注释，还可包含 RGB、边界框、实例和语义分割、深度、深度点云、激光雷达点云等信息。

机器人学习对于确保其能够在物理世界中反复且有效地执行鲁棒技能而言，具有至关重要的意义。高保真仿真为机器人提供了一个虚拟的训练场，让机器人可以通过反复试验或模仿来磨练自己的技能。这可以确保机器人在仿真环境中学习的行为能够更容易地转移到现实世界。

NVIDIA Isaac™ Lab 是一个基于 NVIDIA Isaac Sim 构建的开源、统一、模块化机器人学习框架，它简化了机器人学习中的常见工作流程，例如强化学习、演示学习和运动规划。

软件在环 (SIL) 是为物理AI机器人系统进行软件开发过程中关键的测试和验证阶段。在 SIL 中，控制机器人的软件会在仿真环境中进行测试，而不是在实际硬件上。

SIL 仿真可确保对现实世界的物理特性进行精确建模，包括传感器输入、执行器动力学和环境交互。这样可以确保机器人软件堆栈在仿真环境中的表现与在机器人本体上一样，从而提高测试结果的有效性。

合成数据生成、机器人学习和机器人测试是高度相互依存的工作流，需要在异构基础设施中仔细编排。机器人工作流程还需要开发人员友好的规范，以消除基础设施设置的复杂性、跟踪数据和模型沿袭的简便方法，以及部署这些工作负载的安全方法。

NVIDIA OSMO 提供了一个云原生编排平台，可用于跨本地部署、私有云和公有云扩展复杂、多阶段和多容器的机器人工作负载。