基于GPT-4V的闭环开放词汇移动操作
机器人学
2025-03-10 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
在开放环境中进行自主机器人导航和操作需要结合闭环反馈进行推理和重新规划。在这项工作中，我们提出了COME-robot，这是第一个利用GPT-4V视觉-语言基础模型在真实世界场景中进行开放式推理和自适应规划的闭环机器人系统。COME-robot包含两个关键的创新模块：(i) 一个多级开放词汇感知与情境推理模块，能够利用常识知识和情境信息有效探索三维环境并识别目标物体；(ii) 一个迭代的闭环反馈与恢复机制，用于验证任务可行性、监控执行成功，并跨不同模块追踪失败原因，以实现鲁棒的故障恢复。通过涉及8个具有挑战性的真实世界移动和桌面操作任务的综合实验，COME-robot相较于最先进的方法，任务成功率显著提高了约35%。我们进一步进行了全面分析，以阐明COME-robot的设计如何促进故障恢复、自由形式指令遵循以及长周期任务规划。
引用
@article{arxiv.2404.10220,
title = {Closed-Loop Open-Vocabulary Mobile Manipulation with GPT-4V},
author = {Peiyuan Zhi and Zhiyuan Zhang and Yu Zhao and Muzhi Han and Zeyu Zhang and Zhitian Li and Ziyuan Jiao and Baoxiong Jia and Siyuan Huang},
journal= {arXiv preprint arXiv:2404.10220},
year = {2025}
}
备注
6 pages, Accepted at 2025 IEEE ICRA, website: https://come-robot.github.io/