基于手眼观测与连续控制的精确抓取从仿真到现实的迁移
机器人学
2017-12-21 v2
摘要
在机器人深度学习背景下，我们展示了一种训练真实机器人抓取微小球体（直径1.37cm）的有效方法，该方法采用了原创性的系统设计选择组合。我们将端到端系统分解为视觉模块和闭环控制器模块。两个模块以目标物体分割作为共同接口。视觉模块从机器人末端执行器相机中提取信息，形式为目标的二值分割掩码。我们通过将真实背景图像与目标的仿真图像相组合来训练它，以实现有效的域迁移。控制器模块以二值分割掩码作为输入，因而对仿真与真实环境之间的视觉差异不敏感。我们在仿真中使用模仿学习训练闭环控制器，并表明其对于仿真与真实机器人动态模型之间的差异具有鲁棒性：当与手眼观测结合时，我们在真实机器人抓取微小球体上实现了90%的成功率。该控制器可泛化至目标运动的未见场景，甚至学会从失败中恢复。
引用
@article{arxiv.1712.03303,
title = {Sim-to-Real Transfer of Accurate Grasping with Eye-In-Hand Observations and Continuous Control},
author = {Mengyuan Yan and Iuri Frosio and Stephen Tyree and Jan Kautz},
journal= {arXiv preprint arXiv:1712.03303},
year = {2017}
}
备注
Neural Information Processing Systems (NIPS) 2017 Workshop on Acting and Interacting in the Real World: Challenges in Robot Learning