使用深度点云预测网络实现数据高效的仿真到真实机器人抓取学习
机器人学
2019-06-24 v1 计算机视觉与模式识别
摘要
训练用于机器人操作的深度网络策略因依赖于收集大量真实世界数据而代价高昂且耗时。为了在真实世界中表现良好，该策略需要看到任务的许多实例，包括场景中各种物体排列以及物体几何、纹理、材质和环境光照的变化。本文中，我们提出一种方法，在学习执行桌面实例抓取多种物体的同时不使用任何真实世界抓取数据，以10%的优势优于使用2.5D形状的基线。我们的方法学习物体的3D点云，并用其训练域不变抓取策略。我们将学习过程表述为两步过程：1）从仿真中约76K轮次和真实世界中约530轮次（每轮次持续不到一分钟）学习物体的域不变3D形状表示；2）仅基于步骤1的3D形状表示在仿真中学习评判抓取策略。我们在步骤1中的真实世界数据收集比现有方法更便宜且更快，因其仅需使用RGBD相机对场景拍摄多张快照。最后，学到的3D表示并非抓取专用，并潜在可用于其他交互任务。
引用
@article{arxiv.1906.08989,
title = {Data-Efficient Learning for Sim-to-Real Robotic Grasping using Deep Point Cloud Prediction Networks},
author = {Xinchen Yan and Mohi Khansari and Jasmine Hsu and Yuanzheng Gong and Yunfei Bai and Sören Pirk and Honglak Lee},
journal= {arXiv preprint arXiv:1906.08989},
year = {2019}
}