RoboEXP：用于机器人操作的动作条件场景图交互式探索
机器人学
2024-10-10 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
我们引入了交互式场景探索这一新任务，其中机器人自主探索环境并生成一个动作条件场景图（ACSG），以捕捉底层环境的结构。ACSG 同时涵盖了场景中的低级信息（几何和语义）和高级信息（不同实体之间的动作条件关系）。为此，我们提出了机器人探索（RoboEXP）系统，该系统结合了大型多模态模型（LMM）和显式记忆设计，以增强系统的能力。机器人推理探索什么对象以及如何探索，通过交互过程积累新信息并增量构建 ACSG。利用构建的 ACSG，我们展示了 RoboEXP 系统在促进涉及刚性物体、关节物体、嵌套物体和可变形物体的广泛现实世界操作任务方面的有效性和效率。
引用
@article{arxiv.2402.15487,
title = {RoboEXP: Action-Conditioned Scene Graph via Interactive Exploration for Robotic Manipulation},
author = {Hanxiao Jiang and Binghao Huang and Ruihai Wu and Zhuoran Li and Shubham Garg and Hooshang Nayyeri and Shenlong Wang and Yunzhu Li},
journal= {arXiv preprint arXiv:2402.15487},
year = {2024}
}
备注
Project Page: https://jianghanxiao.github.io/roboexp-web/