用于弱监督语义分割的自监督等变注意力机制
计算机视觉与模式识别
2020-04-10 v1
摘要
图像级弱监督语义分割是一个具有挑战性的问题，近年来已被深入研究。大多数先进解法利用类激活图(CAM)。然而，由于全监督与弱监督之间的差距，CAM 很难作为目标掩码。本文中，我们提出一种自监督等变注意力机制(SEAM)以发现额外监督并缩小差距。我们的方法基于如下观察：等变性是全监督语义分割中的隐式约束，其像素级标签在数据增强时与输入图像经历相同的空间变换。然而，该约束在由图像级监督训练的 CAM 上丢失了。因此，我们提出对来自各种变换图像的预测 CAM 进行一致性正则化，为网络学习提供自监督。此外，我们提出像素关联模块(PCM)，其利用上下文外观信息并通过相似邻域细化当前像素的预测，从而进一步改善 CAM 的一致性。在 PASCAL VOC 2012 数据集上的大量实验表明，我们的方法优于使用同等监督水平的最先进方法。代码已在线发布。
引用
@article{arxiv.2004.04581,
title = {Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation},
author = {Yude Wang and Jie Zhang and Meina Kan and Shiguang Shan and Xilin Chen},
journal= {arXiv preprint arXiv:2004.04581},
year = {2020}
}
备注
To appear at CVPR 2020 (Oral)