ActiveUMI：基于主动感知的机器人操作——来自无机器人人类演示
机器人学
2025-10-03 v1 计算机视觉与模式识别
摘要
我们提出了 ActiveUMI，一个用于数据收集系统的框架，可将野外人类演示转化为具备复杂双手操作能力的机器人。ActiveUMI 将便携式 VR 遥操作套装与带传感器的控制器耦合，控制器镜像机器人的末端执行器，通过精确姿态对齐桥接人类-机器人运动学。为确保移动性和数据质量，我们引入了若干关键技术，包括沉浸式 3D 模型渲染、自包含的可穿戴计算机以及高效标定方法。ActiveUMI 的核心特征是捕获主动的、第三人称视角感知。通过记录操作员通过头戴式显示器的刻意头部运动，我们的系统学习了视觉注意力与操作之间的关键关联。我们在六项具有挑战性的双手操作任务上对 ActiveUMI 进行评估。在分布式任务上，仅使用 ActiveUMI 数据训练的策略实现平均成功率为 70\%，并在测试新物体和新环境时表现出强大的泛化能力，成功率仍为 56\%。我们的结果表明，便携式数据收集系统结合学习的主动感知，为创建通用且高度 capable 的实际机器人策略提供了有效且可扩展的路径。
引用
@article{arxiv.2510.01607,
title = {ActiveUMI: Robotic Manipulation with Active Perception from Robot-Free Human Demonstrations},
author = {Qiyuan Zeng and Chengmeng Li and Jude St. John and Zhongyi Zhou and Junjie Wen and Guorui Feng and Yichen Zhu and Yi Xu},
journal= {arXiv preprint arXiv:2510.01607},
year = {2025}
}
备注
technique report. The website is available at https://activeumi.github.io