基于属性的机器人抓取与数据高效自适应

机器人抓取是最基础的机器人操作任务之一,已被广泛研究。然而,在杂乱场景中快速教会机器人抓取新型目标物体仍然具有挑战性。本文尝试通过利用有助于识别、抓取以及对新领域快速适应的物体属性来应对这一挑战。在本工作中,我们提出了一种端到端的编码器-解码器网络,以学习具有数据高效自适应能力的基于属性的机器人抓取。我们首先使用多种基础物体对端到端模型进行预训练,以学习用于识别与抓取的通用属性表示。我们的方法使用门控注意力机制融合工作空间图像与查询文本的嵌入,并学习预测实例抓取可供性。为了训练视觉与文本属性的联合嵌入空间,机器人利用抓取前后物体的持续性。我们的模型在仅使用各种颜色和形状的基础物体的仿真中进行自监督训练,但可泛化到新环境中的新颖物体。为进一步促进泛化,我们提出了两种自适应方法:对抗自适应与一次抓取自适应。对抗自适应使用未标注图像的增强数据来调节图像编码器,而一次抓取自适应使用一次抓取试验的增强数据更新整体端到端模型。两种自适应方法均具有数据高效性,并显著提升实例抓取性能。在仿真与真实环境中的实验结果表明,我们的方法在未知物体上实现了超过 81% 的实例抓取成功率,大幅优于多个基线方法。