用于弱监督语义分割的全对一致性学习
计算机视觉与模式识别
2023-09-26 v2
摘要
在本工作中，我们提出一种新的基于 transformer 的正则化方法，以更好地为弱监督语义分割（WSSS）定位物体。在图像级 WSSS 中，类激活图（CAM）被用于生成物体定位作为伪分割标签。为解决 CAM 的部分激活问题，采用一致性正则化来维持各种图像增强下的激活强度不变性。然而，此类方法忽略了每个 CAM 内区域间的成对关系，这些关系捕捉上下文且也应跨图像视图保持不变。为此，我们提出一种新的全对一致性正则化（ACR）。给定一对增强视图，我们的方法正则化一对增强视图之间的激活强度，同时确保每个视图内跨区域的亲和性保持一致。我们采用视觉 transformer，因为自注意力机制自然嵌入了成对亲和性。这使我们能够简单地正则化增强图像对注意力矩阵之间的距离。此外，我们引入了一种利用类令牌梯度的新颖类级定位方法。我们的方法可无缝集成到现有使用 transformer 的 WSSS 方法中，无需修改架构。我们在 PASCAL VOC 和 MS COCO 数据集上评估了我们的方法。我们的方法产生了明显更好的类定位图（PASCAL VOC train 上 67.3% mIoU），从而带来更优的 WSSS 性能。
引用
@article{arxiv.2308.04321,
title = {All-pairs Consistency Learning for Weakly Supervised Semantic Segmentation},
author = {Weixuan Sun and Yanhao Zhang and Zhen Qin and Zheyuan Liu and Lin Cheng and Fanyi Wang and Yiran Zhong and Nick Barnes},
journal= {arXiv preprint arXiv:2308.04321},
year = {2023}
}
备注
ICCV 2023 workshop, code released at: https://github.com/OpenNLPLab/ACR_WSSS