GraspCoT：在灵活语言指令下集成物理属性推理的6-DoF抓取
机器人学
2025-09-10 v2 计算机视觉与模式识别
摘要
灵活指令引导的6-DoF抓取对现实世界的机器人系统来说是一项重要且具有挑战性的任务。现有方法利用大型语言模型（LLM）的上下文理解能力来建立表达式与目标之间的映射，使机器人能够理解指令中用户的意图。然而，尽管LLM关于物体物理属性的知识与抓取密切相关，但这一方面仍未得到充分探索。在本工作中，我们提出了GraspCoT，这是一个6-DoF抓取检测框架，在辅助问答（QA）任务的引导下，集成了面向物理属性的思维链（CoT）推理机制。具体而言，我们设计了一组QA模板，以实现包含三个阶段的分层推理：目标解析、物理属性分析和抓取动作选择。此外，GraspCoT提出了一种统一的多模态LLM架构，该架构将3D场景的多视角观测编码为3D感知视觉标记，随后在LLM内将这些视觉标记与CoT衍生的文本标记联合嵌入，以生成抓取位姿预测。进一步地，我们提出了IntentGrasp，一个大规模基准测试，填补了公共数据集在多样化和间接口头命令下进行多物体抓取检测的空白。在IntentGrasp上的大量实验证明了我们方法的优越性，并在真实世界机器人应用中的额外验证证实了其实用性。代码可在 https://github.com/cxmomo/GraspCoT 获取。
引用
@article{arxiv.2503.16013,
title = {GraspCoT: Integrating Physical Property Reasoning for 6-DoF Grasping under Flexible Language Instructions},
author = {Xiaomeng Chu and Jiajun Deng and Guoliang You and Wei Liu and Xingchen Li and Jianmin Ji and Yanyong Zhang},
journal= {arXiv preprint arXiv:2503.16013},
year = {2025}
}
备注
Accepted to ICCV 2025