BifrostUMI：连接无机器人演示与人类全身操控的人形机器人框架
机器人学
2026-05-06 v1
摘要
高质量数据收集是训练人类全身视觉运动策略的基本基石。当前的数据获取范例主要依赖于机器人遥操作，常受限于硬件可达性和运行效率。灵感来自通用操控界面（UMI），我们提出了BifrostUMI，一个面向人形机器人的便携式、高效且无机器人的数据收集框架。BifrostUMI利用轻量级虚拟现实设备捕获人类演示的稀疏关键点轨迹，同时记录手腕挂载的视觉数据。这些多模态数据随后用于训练高层策略网络，预测以捕获的视觉特征为条件的未来关键点轨迹。通过稳健的关键点投遥机制，将关键点轨迹精确映射到机器人的形态，并通过全身控制器执行。该方法实现了从自然人类演示到人形机器人 embodiment 的无缝式迁移。我们在两个不同的实验场景中展示了所提出框架的有效性与通用性。
引用
@article{arxiv.2605.03452,
title = {BifrostUMI: Bridging Robot-Free Demonstrations and Humanoid Whole-Body Manipulation},
author = {Chenhao Yu and Hongwu Wang and Youhao Hu and Jiachen Zhang and Yuanyuan Li and Shaqi Luo},
journal= {arXiv preprint arXiv:2605.03452},
year = {2026}
}