面向多阶段任务的端到端视觉运动控制从仿真到真实世界的迁移

用于机器人操纵和抓取的端到端控制正成为传统流水线方法的一个有吸引力的替代方案。然而，端到端方法往往训练缓慢、泛化能力弱或缺乏完成长程或多阶段任务的能力。在本文中，我们展示了两种简单技术如何实现多阶段任务的端到端(图像到速度)执行，该任务类似于简单的整理例行程序，且未见过任何真实图像。这涉及定位、伸手抓取一个立方体，然后定位一个篮子并将立方体放入其中。为此，在仿真中计算机器人轨迹，以收集完成该任务的一系列控制速度。然后，训练一个CNN将观测图像映射到速度，使用域随机化以实现对真实世界图像的泛化。结果表明，我们能够成功在真实世界中完成任务，并能泛化到新颖环境，包括动态光照条件、干扰物体以及运动物体(包括篮子本身)。我们认为我们的方法简单、高度可扩展，并且能够学习迄今为止最先进端到端机器人控制尚未展示的长程任务。