基于循环控制的 Sim2Real 视角不变视觉伺服
计算机视觉与模式识别
2017-12-21 v1 机器学习
机器人学
摘要
人类非常擅长从广泛的视角和角度控制其肢体与工具，即使在存在光学畸变的情况下也是如此。在机器人学中，这种能力被称为视觉伺服：主要利用视觉反馈将工具或端点移动到期望位置。本文研究在机器人操作场景中如何自动学习视角不变的视觉伺服技能。为此，我们训练了一个深度循环控制器，能够自动确定哪些动作将机械臂端点移动到期望物体处。该控制器必须解决的问题本质上是模糊的：在视角剧烈变化下，单次前馈操作可能无法确定动作。相反，我们的视觉伺服系统必须利用其对过去运动的记忆来理解当前视角下动作如何影响机器人运动，纠正错误并逐步接近目标。这一能力与大多数视觉伺服方法形成鲜明对比，后者要么假设已知动力学，要么需要标定阶段。我们展示了如何使用模拟数据与强化学习目标学习该循环控制器。然后我们描述了如何通过解耦感知与控制并仅适配视觉层，将所得模型迁移到真实世界机器人。适配后的模型能够在真实世界的 Kuka IIWA 机械臂上从新颖视角对先前未见过的物体进行伺服。补充视频见：https://fsadeghi.github.io/Sim2RealViewInvariantServo
引用
@article{arxiv.1712.07642,
title = {Sim2Real View Invariant Visual Servoing by Recurrent Control},
author = {Fereshteh Sadeghi and Alexander Toshev and Eric Jang and Sergey Levine},
journal= {arXiv preprint arXiv:1712.07642},
year = {2017}
}
备注
Supplementary video: https://fsadeghi.github.io/Sim2RealViewInvariantServo