VIEW：基于路径点的视觉模仿学习
机器人学
2025-01-22 v3
摘要
机器人可以使用视觉模仿学习（VIL）从视频演示中学习操作任务。然而，由于视频数据的高维特性，将视觉观察转化为可执行的机器人策略具有挑战性。当视频演示展示人类执行任务时，人类与机器人之间的形态差异进一步加剧了这一挑战。为了解决这些问题，我们引入了基于路径点的视觉模仿学习（VIEW），这是一种显著提高人机VIL样本效率的算法。VIEW通过多管齐下的方法实现这种效率：提取一个捕捉演示者意图的压缩先验轨迹，采用一个与智能体无关的奖励函数为机器人的动作提供反馈，并利用一种探索算法在提取轨迹的路径点周围进行高效采样。VIEW还将人类轨迹分割为抓取阶段和任务阶段，以进一步加速学习效率。通过全面的仿真和真实世界实验，VIEW展示了与当前最先进的VIL方法相比更优的性能。VIEW使机器人能够从任意长的视频演示中学习涉及多个物体的操作任务。此外，它可以在30分钟内，通过少于20次真实世界部署，从单个视频演示中学习标准操作任务，如推动或移动物体。代码和视频见：https://collab.me.vt.edu/view/
引用
@article{arxiv.2404.17906,
title = {VIEW: Visual Imitation Learning with Waypoints},
author = {Ananth Jonnavittula and Sagar Parekh and Dylan P. Losey},
journal= {arXiv preprint arXiv:2404.17906},
year = {2025}
}
备注
27 pages, 17 figures