WS²: 利用操作前后监督的弱监督分割方法用于废物分拣

在工业质量控制中，为了在移动的异质流中视觉识别不需要的物品，人类操作员通常仍然不可或缺。废物分拣是一个重要例子，操作员在多条传送带上手动移除不需要的物品以选择特定材料。为自动化这一识别问题，计算机视觉系统在准确识别和分割此类环境中的不需要物品方面具有巨大潜力。不幸的是，考虑到分拣任务的多样性和复杂性，完全监督方法并非可行的选择，因为它们需要大量的标注工作。令人惊讶的是，利用操作员移除动作自然提供的隐式监督的弱监督替代方法相对未被充分探索。在本文中，我们定义了操作前后监督的概念，说明如何仅利用操作员之前和之后采集的图像之间的视觉差异来训练分割网络。为促进这一方向的研究，我们引入了WS²（废物分拣弱监督分割），第一个多视角数据集，包含超过11000帧高分辨率视频画面，采集于传送带顶部，包括之前和之后图像。我们还提出了一种稳健的端到端流水线，用于在WS²上基准测试多种最先进的弱监督分割方法。