RetinaGAN：一种面向仿真到真实迁移的目标感知方法
机器人学
2021-07-06 v2
摘要
基于视觉的机器人操作中深度强化学习（RL）与模仿学习（IL）的成功通常依赖于大规模数据收集的代价。借助仿真，可高效大规模收集训练策略的数据，但仿真与真实间的视觉差距令其在真实世界部署困难。我们提出 RetinaGAN，一种生成对抗网络（GAN）方法，通过目标检测一致性将仿真图像适配为真实图像。RetinaGAN 以无监督方式训练，不依赖任务损失，并在适配图像中保留通用目标结构与纹理。我们在三项真实世界任务上评估本方法：抓取、推动与开门。RetinaGAN 在基于 RL 的目标实例抓取上优于先前 sim-to-real 方法，并在有限数据情形下依然有效。当应用于相似视觉域中的推动任务时，RetinaGAN 无需额外真实数据即实现迁移。我们还展示本方法利用模仿学习在新视觉域中为新颖开门任务弥合视觉差距。访问项目网站 https://retinagan.github.io/
引用
@article{arxiv.2011.03148,
title = {RetinaGAN: An Object-aware Approach to Sim-to-Real Transfer},
author = {Daniel Ho and Kanishka Rao and Zhuo Xu and Eric Jang and Mohi Khansari and Yunfei Bai},
journal= {arXiv preprint arXiv:2011.03148},
year = {2021}
}
备注
International Conference on Robotics and Automation (ICRA) 2021