强化学习

机器人学习技术,用于开发高效的自适应机器人应用。

Nissan

Image Credit: Agility, Apptronik, Fourier Intelligence, Unitree

工作负载

机器人

行业

全行业

业务目标

创新

产品

NVIDIA Omniverse
NVIDIA Omniverse Enterprise
NVIDIA AI Enterprise

利用强化学习 让实体机器人掌握复杂技能

随着机器人承担的任务越来越复杂,传统的编程方法已无法再满足需求。强化学习 (RL) 是一种机器学习技术,旨在通过对机器人行为进行编程来应对这一挑战。通过在仿真环境中进行强化学习,机器人可以在任何虚拟环境中通过反复试验进行训练,不断提升在控制、路径规划、操控等方面的技能。 

强化学习模型会因执行了预期的操作而获得奖励,从而不断适应并改进。这使得机器人能够发展现实世界自动化任务所需的复杂粗大运动技能和精细运动技能,例如抓取新物体、四足行走和学习复杂的操作技能。

通过不断完善基于奖励的控制策略并分析其行为,强化学习还可以帮助机器人适应新情况和不可预见的挑战,从而使其更加灵活地执行实际任务。

GPU 加速的机器人强化学习训练

传统的基于 CPU 的机器人强化学习训练成本高昂,通常需要数千个的内核来完成复杂的任务,这会增加机器人开发公司的成本。NVIDIA GPU 可以利用其并行处理能力解决这一难题,能够显著加快强化学习模型训练速度。这显著增强了机器人在动态环境中学习、适应和执行复杂任务的能力。

NVIDIA 的计算平台 (包括 Isaac Lab 等工具) 能够充分利用 GPU 的强大性能,在强化学习工作流中进行物理仿真和奖励计算。这能够消除相关瓶颈并简化流程,促进从仿真更顺利地过渡到实际部署。

强化学习 Isaac Lab

NVIDIA Isaac™ Lab 是一款仿真应用,可让机器人通过强化、模仿和迁移学习来进行学习。

  • 构建场景:第一步是在 Isaac Sim 或 Isaac Lab 中构建场景,并使用 URDF 或 MJCF 导入机器人素材。应用物理方案进行仿真,并集成传感器进行基于感知的策略训练。
  • 定义强化学习任务:设置场景和机器人后,下一步是定义智能体要执行的强化任务。环境 (例如基于管理器的环境或直接工作流程环境) 提供智能体的当前状态或观察结果,并执行其提供的操作。然后,环境会响应智能体,为其提供下一个状态。
  • 训练:最后一步是定义训练和策略架构的超参数。Isaac Lab 提供了四个用于使用 GPU 来训练模型的强化学习库,分别是 StableBaselines3RSL-RLRL-GamesSKRL
  • 扩展:为了在多 GPU 和多节点系统中扩展训练,开发者可以使用 OSMO 在混合基础架构上协调这些作业

Project GR00T 为开发者提供了一种专门用于开发人形机器人的新方式。GR00T 是一个通用基础模型,可以帮助理解语言、模拟人类动作,并通过多模态学习快速掌握技能。如需了解详情或要访问 GR00T,请申请参加 NVIDIA 人形机器人开发者计划。

合作伙伴生态系统

看看我们的生态系统正在如何基于强化学习和 NVIDIA 技术开发自己的机器人应用和服务。

开始使用

当今的研究人员和开发者在广泛采用机器人强化学习。立即详细了解一下用于机器人学习的 NVIDIA Isaac Lab 吧!

新闻