EasyMimic：用于从人类视频中机器人仿照学习的低成本框架

机器人仿照学习常受限于收集大规模真实数据的高成本。这一挑战在针对家庭使用的低成本机器人尤为突出，因为它们必须既用户友好又具有可负担性。为此，我们提出了EasyMimic框架，一种低成本且可复制的解决方案，使机器人能够从使用标准RGB摄像机捕获的人类视频演示中快速学习操纵策略。我们的方法首先从视频中提取3D手部轨迹。随后，一个动作对齐模块将这些轨迹映射到低成本机器人的夹爪控制空间中。为弥合人类到机器人之间的领域差距，我们引入一种简单且用户友好的手部视觉增强策略。随后，我们使用一种协训练方法，在处理后的人类数据和少量机器人数据上进行微调，实现对新任务的快速适应。在低成本LeRobot平台上的实验表明，EasyMimic在 various 操纵任务上实现了高性能。它显著减少了对昂贵机器人数据收集的依赖，为将智能机器人带入家中提供了一条实用路径。项目网站：https://zt375356.github.io/EasyMimic-Project/。