RwoR：从人类手部集合生成机器人演示以进行无机器人策略学习
机器人学
2025-07-09 v2
摘要
近期仿真学习的进展在机器人操作中显示出了有前景的成果，这得益于高质量训练数据的可用性。为提高数据收集效率，一些方法致力于开发专门的遥操作设备进行机器人控制，而另一些方法则直接使用人类手部演示来获取训练数据。然而，前者需要机器人系统和有经验的操作员，限制了可扩展性；后者则面临在视觉上与部署机器人观察之间对齐的挑战。为此，我们提出了一种人类手部数据收集系统，结合我们 hand-to-gripper 生成模型，将人类手部演示转换为机器人手抓演示，有效弥合了观察差距。具体而言，我们将 GoPro 鱼眼相机安装在人类手腕部位，用于捕捉人类手部演示。随后，我们在自收集的人类手部和 UMI 手抓演示配对数据集上训练生成模型，这些数据经过量身定制的数据预处理策略处理，以确保时间戳和观察值对齐。因此，仅凭人类手部演示，我们便能够自动提取相应的 SE(3) 动作，并通过我们的生成管道将其与高质量生成的机器人演示集成，用于训练机器人策略模型。在实验中，稳健的操控性能不仅展示了生成机器人演示的质量，也证明了我们数据收集方法的效率和实用性。更多演示可在：https://rwor.github.io/ 查看。
引用
@article{arxiv.2507.03930,
title = {RwoR: Generating Robot Demonstrations from Human Hand Collection for Policy Learning without Robot},
author = {Liang Heng and Xiaoqi Li and Shangqing Mao and Jiaming Liu and Ruolin Liu and Jingli Wei and Yu-Kai Wang and Yueru Jia and Chenyang Gu and Rui Zhao and Shanghang Zhang and Hao Dong},
journal= {arXiv preprint arXiv:2507.03930},
year = {2025}
}