用于物体相对模仿学习的关键点抽象的大模型方法
机器人学
2024-10-31 v1 人工智能
计算机视觉与模式识别
摘要
泛化到不同任务和环境中新颖的物体配置和实例是机器人学中的一个关键挑战。基于关键点的表示已被证明是捕捉物体本质特征的有效简洁表示，并为动作预测建立参考框架，从而实现机器人技能的数据高效学习。然而，其手动设计的本质和对额外人工标注的依赖限制了其可扩展性。在本文中，我们提出了KALM，一个利用大型预训练视觉-语言模型（LMs）自动生成任务相关且跨实例一致的关键点的框架。KALM通过使用LMs生成提议并将其与少量机器人演示数据进行验证，在不同视角和物体之间提炼出鲁棒且一致的关键点。基于生成的关键点，我们可以训练以关键点为中心的条件策略模型，使机器人能够在不同的物体姿态、相机视角和具有相似功能形状的物体实例之间有效泛化。我们的方法在现实世界中展示了强大的性能，仅需少量演示即可适应不同的任务和环境，且无需额外标注。网站：https://kalm-il.github.io/
引用
@article{arxiv.2410.23254,
title = {Keypoint Abstraction using Large Models for Object-Relative Imitation Learning},
author = {Xiaolin Fang and Bo-Ruei Huang and Jiayuan Mao and Jasmine Shone and Joshua B. Tenenbaum and Tomás Lozano-Pérez and Leslie Pack Kaelbling},
journal= {arXiv preprint arXiv:2410.23254},
year = {2024}
}
备注
CoRL LangRob Workshop, 2024