使用模拟深度图像学习用于真实世界机器人抓取的视觉运动控制器

我们希望构建能在非结构化真实世界应用（例如做家务）中有用的机器人。在此领域中，抓取尤其是一项重要技能，然而它仍是一个挑战。关键障碍之一是处理被抓取物体意外的变化或运动，以及机器人的运动学噪声或其他误差。本文提出了一种学习用于机器人抓取的闭环控制器的方法，该控制器动态引导夹爪移向物体。我们使用腕载传感器获取夹爪前方的深度图像，并训练卷积神经网络来学习图像上抓取构型到真实抓取的距离函数。训练传感器数据在模拟中生成，这相比以往使用真实机器人经验的工作是一大优势，因为后者获取成本高昂。尽管在模拟中训练，我们的方法在真实的含噪声传感器图像上依然表现良好。我们在模拟和真实机器人实验中将我们的控制器与用于抓取位姿检测的强基线进行了比较，发现在存在运动学噪声、感知误差以及抓取过程中物体受到干扰的情况下，我们的方法显著优于基线。