基于属性且具单次抓取自适应能力的机器人抓取

机器人抓取是最基础的机器人操作任务之一，已被广泛研究。然而，如何快速教会机器人在杂乱环境中抓取新颖目标物体仍具挑战。本文试图通过利用有助于识别、抓取和快速自适应的物体属性来应对该挑战。我们提出了一种基于属性的端到端学习方法，具备单次抓取自适应能力。我们的方法使用门控注意力机制融合工作空间图像与查询文本的嵌入，并学习预测实例抓取可供性。此外，我们利用抓取前后物体的持续性来学习视觉与文本属性的联合度量空间。我们的模型在仅使用各种颜色与形状基本物体的仿真中自监督训练，却能泛化至新颖物体与真实场景。我们进一步证明，模型仅需一条抓取数据即可适应新颖物体，并显著提升实例抓取性能。仿真与真实世界的实验结果表明，我们的方法在未知物体上实现了超过80%的实例抓取成功率，大幅优于若干基线方法。