面向仿真到真实的方向性语义抓取
机器人学
2020-08-19 v3
摘要
我们研究方向性语义抓取问题，即从特定方向抓取特定物体。我们采用深度强化学习解决该问题，通过双深度 Q 网络（DDQN）学习将腕部摄像头下采样的 RGB 输入图像映射为 Q 值，再经交叉熵方法（CEM）转化为笛卡尔机器人控制指令。该网络完全在自定义机器人模拟器生成的模拟数据上学习，该模拟器同时建模物理现实（接触）与感知质量（高质量渲染）。现实差距通过域随机化弥合。该系统是端到端（将单目 RGB 图像输入映射为笛卡尔电机指令输出）从多个预定义以物体为中心的方向（如侧面或顶部）抓取物体的示例。我们在模拟与真实世界中均展示了有前景的结果，以及所面临的若干挑战与该领域未来研究的必要性。
引用
@article{arxiv.1909.02075,
title = {Toward Sim-to-Real Directional Semantic Grasping},
author = {Shariq Iqbal and Jonathan Tremblay and Thang To and Jia Cheng and Erik Leitch and Andy Campbell and Kirby Leung and Duncan McKay and Stan Birchfield},
journal= {arXiv preprint arXiv:1909.02075},
year = {2020}
}
备注
ICRA 2020. Video is at https://youtu.be/bjJLtNdVj9w