运动轨迹：基于少样本模仿学习的人类-机器人迁移统一表示
机器人学
2025-10-14 v2 人工智能
机器学习
摘要
教育机器人自主完成日常任务仍是一个挑战。模仿学习（Imitation Learning, IL）是一种通过演示为机器人赋予技能的强大方法，但受限于收集远程操控机器人数据所需的工作量较大的过程。人类视频提供了可扩展的替代方案，但由于缺乏机器人动作标签，直接从人类视频训练 IL 策略仍然困难。为此，我们提出将动作表示为图像上的短时程度2D轨迹。这些动作，即运动轨迹，捕捉人类手或机器人末端执行器预测运动方向。我们实现了一个名为运动轨迹策略（Motion Track Policy, MT-pi）的 IL 策略，其接收图像观测并输出运动轨迹作为动作。通过利用这种统一的跨本体化动作空间，MT-pi 在仅需数分钟的人类视频和有限额外机器人演示的情况下即可完成任务。测试时，我们从两个摄像头视角预测运动轨迹，通过多视角合成恢复6DoF轨迹。MT-pi 在4项实际任务中实现86.5%的平均成功率，优于不利用人类数据或该动作空间的领先IL基线方法约40%，并能泛化到仅在人类视频中看到的场景。代码和视频已在我们的网站上提供：https://portal-cornell.github.io/motion_track_policy/。
引用
@article{arxiv.2501.06994,
title = {Motion Tracks: A Unified Representation for Human-Robot Transfer in Few-Shot Imitation Learning},
author = {Juntao Ren and Priya Sundaresan and Dorsa Sadigh and Sanjiban Choudhury and Jeannette Bohg},
journal= {arXiv preprint arXiv:2501.06994},
year = {2025}
}