HumanEgo：基于几分钟人类中心视角视频的零样机器人学习
机器人学
2026-05-29 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
人类中心视角视频捕获丰富的操纵示范，无需机器人硬件，但将这些技能转移到机器人仍具有挑战，因为人类和机器人在视觉外观和运动学之间存在 embodiment gap。我们提出 HumanEgo，一个框架通过将每个人类示范提升到手-物体 interaction 的 entity-level 表示，并训练一个 flow matching policy with dense auxiliary objectives 来放大来自每个 trajectory 的监督。HumanEgo 无需机器人数据、硬件无关、数据高效且可零样本人类到机器人 transfer。仅需每个任务 30 分钟的人类视频，HumanEgo 在四个真实世界任务上实现 92.5% 的平均成功率（仅需 15 分钟即可达 75%），以 41% 的优势超过 matched-time 机器人 teleoperation，并在新型机器人、摄像机和环境中实现 robust 零样本 transfer。我们将 HumanEgo 作为一个易于使用的、开源框架发布，用于直接从人类数据学习机器人策略：https://github.com/TX-Leo/HumanEgo
引用
@article{arxiv.2605.24934,
title = {HumanEgo: Zero-Shot Robot Learning from Minutes of Human Egocentric Videos},
author = {Zhi Wang and Botao He and Kelin Yu and Seungjae Lee and Ruohan Gao and Furong Huang and Yiannis Aloimonos},
journal= {arXiv preprint arXiv:2605.24934},
year = {2026}
}
备注
Project page: https://humanego-ai.github.io