MimicPlay：通过观看人类玩耍进行长时序模仿学习
机器人学
2023-10-16 v2
摘要
从人类演示中进行模仿学习是在真实世界中教导机器人操控技能的一种有前景的范式。然而，学习复杂的长时序任务通常需要难以获取的大量演示。为降低高昂的数据需求，我们求助于人类玩耍数据——即人们使用双手自由与环境交互的视频序列。即使形态不同，我们假设人类玩耍数据包含丰富且显著的物理交互信息，可轻易促进机器人策略学习。受此启发，我们引入了一种名为MimicPlay的分层学习框架，其从人类玩耍数据中学习潜在规划，以指导在少量遥操作演示上训练的低层视觉运动控制。通过对真实世界中14个长时序操控任务的系统评估，我们表明MimicPlay在任务成功率、泛化能力和抗干扰鲁棒性方面优于最先进（state-of-the-art）的模仿学习方法。代码与视频可在 https://mimic-play.github.io 获取。
引用
@article{arxiv.2302.12422,
title = {MimicPlay: Long-Horizon Imitation Learning by Watching Human Play},
author = {Chen Wang and Linxi Fan and Jiankai Sun and Ruohan Zhang and Li Fei-Fei and Danfei Xu and Yuke Zhu and Anima Anandkumar},
journal= {arXiv preprint arXiv:2302.12422},
year = {2023}
}
备注
7th Conference on Robot Learning (CoRL 2023 oral presentation)