GenH2R：通过可扩展仿真、演示和模仿学习通用的人到机器人交接
机器人学
2024-06-17 v2 计算机视觉与模式识别
摘要
本文提出了GenH2R，一个用于学习通用的基于视觉的人到机器人（H2R）交接技能的框架。目标是使机器人能够可靠地接收由人类以各种复杂轨迹传递的具有未知几何形状的物体。我们通过一个全面的解决方案来大规模学习H2R交接，从而获得这种通用性，该解决方案包括程序化仿真资产创建、自动演示生成和有效的模仿学习。我们利用大规模3D模型库、灵巧抓取生成方法和基于曲线的3D动画创建了一个名为\simabbns的H2R交接仿真环境，其场景数量超过现有仿真器三个数量级。我们进一步引入了一种对蒸馏友好的演示生成方法，该方法自动生成一百万个适合学习的高质量演示。最后，我们提出了一种4D模仿学习方法，通过未来预测目标增强，将演示提炼为视觉运动交接策略。在仿真器和现实世界中的实验评估表明，在所有情况下，成功率比基线至少提高10%。项目页面：https://GenH2R.github.io/。
引用
@article{arxiv.2401.00929,
title = {GenH2R: Learning Generalizable Human-to-Robot Handover via Scalable Simulation, Demonstration, and Imitation},
author = {Zifan Wang and Junyu Chen and Ziqing Chen and Pengwei Xie and Rui Chen and Li Yi},
journal= {arXiv preprint arXiv:2401.00929},
year = {2024}
}
备注
The project page is https://GenH2R.github.io/, accepted by CVPR2024