用于废物分拣中弱监督视频分割的时间一致性类激活映射

在工业环境中，弱监督（WS）方法通常比全监督（FS）方法更受青睐，因为它们不需要昂贵的成本手动标注。不幸的是，在弱监督机制下获得的分割掩码通常在准确性方面表现不佳。在这项工作中，我们提出了一种弱监督方法，能够在视频流场景下为语义分割生成精确的掩码。更具体地说，我们构建了利用视频中连续帧之间时间相干性的显著性图，以促进对象出现在不同帧时的一致性。我们将该方法应用于废物分拣场景，通过训练一个辅助分类器来执行弱监督视频分割（WSVS），该分类器区分人类操作员从传送带上手动移除特定废物之前和之后录制的视频。此分类器的显著性图识别出待移除的材料，并且我们修改了分类器训练过程，在补偿物体位移后，最小化中心帧的显著性图与其相邻帧显著性图之间的差异。在真实世界数据集上的实验证明了在分类器训练阶段直接整合时间相干性的好处。代码和数据集可应要求提供。