用视觉运动Transformer模仿任务与运动规划
机器人学
2023-10-18 v3 计算机视觉与模式识别
机器学习
摘要
模仿学习是训练机器人操作策略的有力工具，使其能从专家演示中学习，而无需手动编程或试错。然而，常见的数据收集方法（如人工监督）扩展性差，因为它们耗时且劳动密集。相比之下，任务与运动规划（TAMP）可自主生成大规模多样化演示数据集。在这项工作中，我们展示了由TAMP监督器生成的大规模数据集与用于拟合它们的灵活Transformer模型相结合，是机器人操作的有力范式。为此，我们提出一种称为OPTIMUS的新型模仿学习系统，通过模仿TAMP智能体来训练大规模视觉运动Transformer策略。OPTIMUS引入了专为模仿学习策划的TAMP数据生成流程，可用于训练高性能基于Transformer的策略。在本文中，我们提出了模仿TAMP所需设计决策的深入研究，并证明OPTIMUS能解决涵盖70多个不同物体的广泛具有挑战性的基于视觉的操作任务，从长视野拾放任务到货架和关节物体操作，取得70%至80%的成功率。视频结果和代码见 https://mihdalal.github.io/optimus/
引用
@article{arxiv.2305.16309,
title = {Imitating Task and Motion Planning with Visuomotor Transformers},
author = {Murtaza Dalal and Ajay Mandlekar and Caelan Garrett and Ankur Handa and Ruslan Salakhutdinov and Dieter Fox},
journal= {arXiv preprint arXiv:2305.16309},
year = {2023}
}
备注
Conference on Robot Learning (CoRL) 2023. 8 pages, 5 figures, 2 tables; 11 pages appendix (10 additional figures)