基于负提示引导的语言驱动6自由度抓取检测

6自由度抓取检测一直是机器人视觉中的一个基本且具有挑战性的问题。虽然之前的研究聚焦于确保抓取稳定性，但往往不考虑通过自然语言传递的人类意图，导致在复杂三维环境中机器人与用户之间协作效果受限。本文提出了一种用于杂乱点云场景中语言驱动6自由度抓取检测的新方法。我们首先引入Grasp-Anything-6D，一个规模庞大的语言驱动6自由度抓取检测数据集，包含100万个点云场景和超过2亿个语言关联的3D抓取位姿。我们进一步引入了一种新型扩散模型，集成了全新的负提示引导学习策略。 proposed的负提示策略在给定语言输入后，将检测过程导向所需对象，同时远离不希望出现的目标。我们的方法构建了一个端到端的框架，使人类能够使用自然语言指令机器人在杂乱场景中抓取所需对象。大量实验结果表明，我们的方法在基准实验和真实场景中均表现优异，超越了其他基线方法。此外，我们展示了该方法在实际机器人应用中的可行性。我们的项目已公开于 https://airvlab.github.io/grasp-anything。