基于属性的物体定位与空间推理机器人抓取检测
机器人学
2025-09-11 v1
摘要
使机器人能够通过自然语言抓取物体对于有效的人机交互至关重要，但这仍然是一个重大挑战。现有方法通常难以处理开放式语言表达式，通常假设目标物体明确且无重复。此外，它们通常依赖昂贵的、逐像素的标注来进行物体定位和抓取配置。我们提出了基于属性的物体定位与机器人抓取（OGRG），这是一个新颖框架，能够解释开放式语言表达式并进行空间推理，以定位目标物体并预测平面抓取姿态，即使场景中包含重复的物体实例。我们在两种设置中研究了 OGRG：（1）基于逐像素完全监督的指称抓取合成（RGS），以及（2）仅使用单像素抓取标注的弱监督指称抓取可及性（RGA）。关键贡献包括一个双向视觉-语言融合模块以及深度信息的集成，以增强几何推理，从而改进定位和抓取性能。实验结果表明，OGRG 在具有多样化空间语言指令的桌面场景中优于强基线。在 RGS 中，它在单个 NVIDIA RTX 2080 Ti GPU 上以 17.59 FPS 运行，能够实现闭环或多物体顺序抓取的潜在使用，同时相比所有考虑的基线提供了更优的定位和抓取预测准确性。在弱监督 RGA 设置下，OGRG 在仿真和真实机器人试验中均超越了基线抓取成功率，突显了其空间推理设计的有效性。项目页面：https://z.umn.edu/ogrg
引用
@article{arxiv.2509.08126,
title = {Attribute-based Object Grounding and Robot Grasp Detection with Spatial Reasoning},
author = {Houjian Yu and Zheming Zhou and Min Sun and Omid Ghasemalizadeh and Yuyin Sun and Cheng-Hao Kuo and Arnie Sen and Changhyun Choi},
journal= {arXiv preprint arXiv:2509.08126},
year = {2025}
}
备注
Accepted to 2025 IEEE-RAS 24th International Conference on Humanoid Robots