基于掩码引导注意力的语言驱动抓取检测

抓取检测是机器人各种工业应用中的关键任务。然而，传统方法常遇到遮挡问题且未利用语言进行抓取。将自然语言融入抓取检测仍是具有挑战性的课题且 largely 未被探索。为填补这一空白，我们提出一种基于掩码引导注意力的语言驱动抓取检测方法，利用语义分割特征的transformer注意力机制。我们的方法整合了视觉数据、分割掩码特征和自然语言指令，显著提升了抓取检测精度。本工作引入了语言驱动抓取检测的新框架，为语言驱动机器人应用铺路。大量实验表明，我们的方法在其他近期基准上以显著优势获胜，成功率提升10.0%。我们进一步在真实机器人实验中验证了方法的有效性，确认了我们方法的有效性。