利用以对象为中心的3D表征学习可泛化的操作策略
机器人学
2023-10-24 v1 计算机视觉与模式识别
机器学习
摘要
我们提出 GROOT，一种利用以对象为中心和3D先验学习鲁棒策略的模仿学习方法。GROOT 构建的策略能够在基于视觉的操作中泛化到初始训练条件之外。它构建对背景变化和相机视角鲁棒的以对象为中心的3D表征，并使用基于 transformer 的策略对这些表征进行推理。此外，我们引入了一种分割对应模型，使策略在测试时能够泛化到新对象。通过综合实验，我们验证了 GROOT 策略在模拟和真实世界环境中对感知变化的鲁棒性。GROOT 在背景变化、相机视角偏移和新对象实例存在情况下的泛化性能优于当前最先进的端到端学习方法和基于对象提议的方法。我们还在真实机器人上广泛评估了 GROOT 策略，展示了其在设置剧烈变化下的有效性。更多视频和模型细节可在附录和项目网站找到：https://ut-austin-rpl.github.io/GROOT 。
引用
@article{arxiv.2310.14386,
title = {Learning Generalizable Manipulation Policies with Object-Centric 3D Representations},
author = {Yifeng Zhu and Zhenyu Jiang and Peter Stone and Yuke Zhu},
journal= {arXiv preprint arXiv:2310.14386},
year = {2023}
}
备注
Accepted at the 7th Annual Conference on Robot Learning (CoRL), 2023 in Atlanta, US