AGILE：基于元素分解学习的方法驱动抓取推理

人类作为抓取检测的专家物种，能够通过考虑手与物体的定位信息来抓取物体。本文提出一种方法，使机器人操作臂能够学习同样的能力，即根据夹爪接近物体的方式，以最优方式抓取物体。该方法基于深度学习，包含两个主要阶段。为了使网络能泛化到未见过的物体，所提出的基于方法的抓取推理包含一个元素分解阶段，将物体分解为其主要部分，每个部分针对夹爪的特定接近方式标注一个或多个抓取。随后，抓取检测网络利用 Mask R-CNN 分解出的元素以及夹爪接近方式的信息，来检测夹爪所接近的元素及最优抓取。为训练网络，本研究引入了一个在 Coppeliasim 仿真环境中收集的机器人抓取数据集。该数据集包含 10 个不同物体，并标注了元素分解掩码和抓取矩形。所提方法在 Coppeliasim 仿真环境中，对已见物体的抓取成功率达到 90%，对未见物体的成功率为 78%。最后，通过对仿真收集的训练集应用变换并增强数据集，进行了仿真到现实的领域自适应，使用 Delta 并联机器人和二指夹爪实现了 70% 的物理抓取成功率。