KOVIS：基于关键点、零样本仿真到实域迁移的机器人操作视觉伺服方法
机器人学
2022-04-27 v1 计算机视觉与模式识别
摘要
我们提出 KOVIS，一种新颖的、基于学习的、无需标定的视觉伺服方法，用于配备眼在手立体相机系统的精细机器人操作任务。我们仅在仿真环境中训练深度神经网络；训练后的模型可直接用于真实世界的视觉伺服任务。KOVIS 由两个网络组成。第一个关键点网络利用自编码器从图像中学习关键点表示。随后，视觉伺服网络基于从相机图像中提取的关键点学习运动。这两个网络在仿真环境中通过自监督学习端到端训练，无需人工数据标注。经过数据增强、域随机化和对抗样本训练后，我们能够实现向真实世界机器人操作任务的零样本仿真到实域（sim-to-real）迁移。我们在仿真环境和真实世界实验中，通过不同的机器人操作任务（包括抓取、4mm 间隙的插孔任务以及 M13 螺丝插入）证明了所提方法的有效性。演示视频见 http://youtu.be/gfBJBR2tDzA
引用
@article{arxiv.2007.13960,
title = {KOVIS: Keypoint-based Visual Servoing with Zero-Shot Sim-to-Real Transfer for Robotics Manipulation},
author = {En Yen Puang and Keng Peng Tee and Wei Jing},
journal= {arXiv preprint arXiv:2007.13960},
year = {2022}
}
备注
Accepted by IROS 2020