一次教学完事：从视频演示中学习单次双臂机器人操作

双臂机器人操作是具身智能的一大挑战，其特征为双臂空间时间协调和高维动作空间。以往研究依赖于预定义的动作分类或直接遥控，以缓解或规避这些问题，往往缺乏简单性、通用性和可扩展性。不同于此，本文认为，最有效且最高效的教学方式是从人类演示视频中进行学习，其中几乎免费提供了丰富的特征，如空间时间位置、动态姿态、相互作用状态和灵巧转换。在本工作中，我们提出了 YOTO（You Only Teach Once），该系统可从仅 하나的单眼视角的手部动作中提取并注入双臂动作模式，用于教导双机器人臂完成各种复杂任务。此外，基于关键帧的运动轨迹，我们构思了一种巧妙的解决方案，用于快速生成具有各种操作物体及其位置变化的训练演示。这些数据随后可用于学习针对各种场景的定制双臂扩散策略（BiDP）。在实验中，YOTO 在模拟 5 项精细的长期程双臂操作任务方面取得令人印象深刻的性能，能够在不同的视觉和空间条件下保持强大的泛化能力，并在准确率和效率上优于现有的视觉运动模仿学习方法。我们的项目链接为 https://hnuzhy.github.io/projects/YOTO。