EmbodSwap 用于零样态机器人仿真学习
机器人学
2025-10-07 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
我们介绍 EmbodiSwap——一种用于生成机器人视频上超现实感合成机器人叠加层的方法。我们运用 EmbodiSwap 进行零样态仿真学习，弥合野生人类视频中自我中心视角与目标机器人本体化之间的鸿沟。我们在由 EmbodiSwap 生成的数据上训练闭环机器人操控策略。我们首次将 V-JEPA 用作视觉骨干网络，将其从视频理解领域复用到合成机器人视频的仿真学习中。采用 V-JEPA 的视觉骨干网络在机器人领域更常用的替代方案性能更佳。在实际测试中，我们的零样态训练的 V-JEPA 模型实现了 82% 的成功率，优于 few-shot 训练的 π0 网络以及在 EmbodiSwap 生成的数据上训练的 π0。我们发布 (i) 用于生成合成机器人叠加层的代码，该代码接受人类视频和任意机器人 URDF 作为输入，生成机器人数据集，(ii) 我们在 EPIC-Kitchens、HOI4D 和 Ego4D 上合成的机器人数据集，以及 (iii) 模型检查点和推理代码，以促进可重复研究和更广泛的采用。
引用
@article{arxiv.2510.03706,
title = {EmbodiSwap for Zero-Shot Robot Imitation Learning},
author = {Eadom Dessalene and Pavan Mantripragada and Michael Maynord and Yiannis Aloimonos},
journal= {arXiv preprint arXiv:2510.03706},
year = {2025}
}
备注
Video link: https://drive.google.com/file/d/1UccngwgPqUwPMhBja7JrXfZoTquCx_Qe/view?usp=sharing