DemoBot：从第三人称人类视频中学习高效的双手操作
机器人学
2026-01-06 v1
摘要
本 work 提出了 DemoBot，一种使双臂、多指机器人系统能够从单条无标注 RGB-D 视频演示中获取复杂操作技能的学习框架。该方法从原始视频数据中提取两只手和物体的结构化运动轨迹。这些轨迹作为运动先验，用于一种新的强化学习（RL）管道，通过接触丰富的相互作用来细化这些轨迹，从而消除需从零学习的需求。为解决学习长期程度操作技能的挑战，我们引入了：（1）基于时间段的 RL 以强制实现当前状态与演示之间的时间对齐；（2）成功门控复位策略以平衡已获取技能的细化和后续任务阶段的探索；以及（3）具有自适应阈值的事件驱动奖励课程以指导高精度操作的 RL 学习。该新型视频处理和 RL 框架成功实现了长期程度的同步和异步双手装配任务，为从人类视频中直接获取技能提供了可扩展的方法。
引用
@article{arxiv.2601.01651,
title = {DemoBot: Efficient Learning of Bimanual Manipulation with Dexterous Hands From Third-Person Human Videos},
author = {Yucheng Xu and Xiaofeng Mao and Elle Miller and Xinyu Yi and Yang Li and Zhibin Li and Robert B. Fisher},
journal= {arXiv preprint arXiv:2601.01651},
year = {2026}
}