用于视觉运动学习的深度空间自编码器

强化学习为自动获取机器人运动技能提供了强大而灵活的框架。然而，应用强化学习需要足够详细的状态表示，包括任务相关物体的配置。我们提出一种通过直接从相机图像学习状态表示来实现状态空间构建自动化的方法。我们的方法使用深度空间自编码器来获取一组描述当前任务环境（如物体位置）的特征点，然后利用基于局部线性模型的高效强化学习方法通过这些特征点学习运动技能。所得控制器对学到的特征点持续作出反应，使机器人能够通过闭环控制动态操纵世界中的物体。我们使用 PR2 机器人在包括推动独立站立的玩具块、用铲子拾起一袋大米以及将绳圈挂在不同位置的钩子上等任务上演示了我们的方法。在每项任务中，我们的方法自动学习跟踪任务相关物体并用机器人手臂操纵其配置。