HumanX：从人类视频中实现人形机器人的敏捷性和通用交互技能
机器人学
2026-02-03 v1 机器学习
摘要
使人形机器人能够执行敏捷且自适应的交互任务长期以来是机器人学中的核心挑战之一。当前方法要么受限于真实交互数据的稀缺，要么需要精细的、任务特定的奖励工程，从而限制了其可扩展性。为缩小这一差距，我们提出 HumanX，一个从人类视频编译出可通用于真实世界交互技能的全栈框架，无需任务特定奖励。HumanX 集成了两个共同设计的组件：XGen，一个数据生成管道，可从视频合成多样且物理上合理的机器人交互数据，同时支持可扩展的数据增强；以及 XMimic，一个统一的仿拜学习框架，用于学习可通用的交互技能。我们在五个不同领域——篮球、足球、羽毛球、货物提取和反应性搏斗——上进行评估，HumanX 成功获得了 10 项不同技能，并零样本迁移至物理 Unitree G1 人形机器人。所学能力包括无需外部感知即可完成的 pump-fake turnaround fadeaway jumpshots 等复杂机动动作，以及持续 10 个连续周期的人机接力序列——从单一视频演示中学习。我们的实验表明，HumanX 在一般化成功率上超过了先前方法的 8 倍，展示了一条可扩展且任务无关的路径，使机器人能够学习 versatile、真实世界的交互技能。
引用
@article{arxiv.2602.02473,
title = {HumanX: Toward Agile and Generalizable Humanoid Interaction Skills from Human Videos},
author = {Yinhuai Wang and Qihan Zhao and Yuen Fui Lau and Runyi Yu and Hok Wai Tsui and Qifeng Chen and Jingbo Wang and Jiangmiao Pang and Ping Tan},
journal= {arXiv preprint arXiv:2602.02473},
year = {2026}
}