Gen2Sim：利用生成模型在仿真中扩展机器人学习
机器人学
2023-10-30 v1 人工智能
机器学习
摘要
通用机器人操纵器需要跨多种环境学习各种各样的操纵技能。当前的机器人训练流程依赖人类提供运动学示教，或编程仿真环境并为强化学习编写奖励函数。这种人工参与是跨多样任务与环境扩展机器人学习的重要瓶颈。我们提出 Generation to Simulation (Gen2Sim)，一种利用大规模预训练语言与视觉生成模型自动生成 3D 资产、任务描述、任务分解与奖励函数，从而在仿真中扩展机器人技能学习的方法。我们通过图像扩散模型将开放世界以物体为中心的 2D 图像提升为 3D 来生成仿真用 3D 资产，并查询 LLM 以确定合理的物理参数。给定生成及人工开发的资产的 URDF 文件，我们采用思维链提示 LLM 将其映射到相关任务描述、时间分解以及对应的 python 强化学习奖励函数。我们展示 Gen2Sim 成功学习了多样长视野任务的策略，而采用非时间分解奖励函数的强化学习则失败。Gen2Sim 为在仿真中扩展机器人操纵器的强化学习提供了可行路径，既通过多样化和扩展任务与环境开发，也通过强化学习中的时间任务分解促进强化学习行为的发现。我们的工作贡献了数百个仿真资产、任务与示教，朝着仿真中全自主机器人操纵技能获取迈出了一步。
引用
@article{arxiv.2310.18308,
title = {Gen2Sim: Scaling up Robot Learning in Simulation with Generative Models},
author = {Pushkal Katara and Zhou Xian and Katerina Fragkiadaki},
journal= {arXiv preprint arXiv:2310.18308},
year = {2023}
}