VIOLA：基于物体提议先验的视觉操纵模仿学习
机器人学
2023-03-09 v2
摘要
我们提出 VIOLA，一种以物体为中心的模仿学习方法，用于学习机器人操纵的闭环视觉运动策略。我们的方法基于预训练视觉模型生成的通用物体提议构建以物体为中心的表示。VIOLA 使用基于 transformer 的策略对这些表示进行推理，并关注与任务相关的视觉因素以预测动作。这种基于物体的结构先验提升了深度模仿学习算法对物体变化和环境扰动的鲁棒性。我们在仿真和真实机器人上对 VIOLA 进行了定量评估。VIOLA 在成功率上以 优于最先进的模仿学习方法。它也已成功部署在物理机器人上以解决具有挑战性的长程任务，如餐桌布置和煮咖啡。更多视频和模型细节可在补充材料与项目网站查看：https://ut-austin-rpl.github.io/VIOLA 。
引用
@article{arxiv.2210.11339,
title = {VIOLA: Imitation Learning for Vision-Based Manipulation with Object Proposal Priors},
author = {Yifeng Zhu and Abhishek Joshi and Peter Stone and Yuke Zhu},
journal= {arXiv preprint arXiv:2210.11339},
year = {2023}
}
备注
Published at the 6th Conference on Robot Learning