ARMimic：从被动人类演示中学习机器人操作（增强现实）
机器人学
2025-09-30 v1
摘要
仿真学习是机器人技能获取的强大范式，但常规演示方法——如动力学教学和遥操作——笨重、硬件密集且干扰工作流程。最近，利用扩展现实(XR)耳目设备进行被动观察显示出为采集 egocentric 演示的潜力，但现有方法需要额外硬件、复杂校准或受限录制条件，限制了可扩展性和可用性。我们提出了ARMimic，一种新型框架，通过轻量且硬件最小化的设置实现可扩展、无机器人的数据收集，仅使用消费级XR耳目设备和固定工作台摄像头。ARMimic集成了 egocentric 手部跟踪、增强现实(AR)机器人叠加层和实时深度感知，以确保碰撞感知、动力学可行的演示。我们方法的核心是统一的仿真学习管道，将人类和虚拟机器人轨迹视为可互换的，从而实现可跨不同本体化和环境的策略。我们在两个操作任务上验证了ARMimic，包括具有挑战性的长期篮子堆叠。在我们的实验中，ARMimic将演示时间缩短了50%，相较于基于遥操作数据训练的SOTA基线ACT提高了11%的任务成功率。我们的结果表明，ARMimic实现了安全、无缝且在野外的数据收集，为多样化的实际环境中的可扩展机器人学习提供了巨大的潜力。
引用
@article{arxiv.2509.22914,
title = {ARMimic: Learning Robotic Manipulation from Passive Human Demonstrations in Augmented Reality},
author = {Rohan Walia and Yusheng Wang and Ralf Römer and Masahiro Nishio and Angela P. Schoellig and Jun Ota},
journal= {arXiv preprint arXiv:2509.22914},
year = {2025}
}