面向杂乱环境中严重遮挡机器人抓取与放置的实例与语义分割联合学习

我们提出针对可见与遮挡区域掩码的实例分割与语义分割联合学习。通过让实例遮挡分割共享特征提取器，我们将语义遮挡分割引入实例分割模型。该联合学习融合了不同分割任务上掩码预测的实例级与图像级推理，而此前仅学习实例分割（仅实例）的工作缺失此点。实验中，我们在测试数据集上将所提联合学习与仅实例学习进行比较评估。我们还将联合学习模型应用于两类不同的机器人抓取与放置任务（随机抓取与目标抓取），并评估其在实现真实世界机器人任务中的有效性。