TransCAM: 基于Transformer注意力的CAM细化用于弱监督语义分割
计算机视觉与模式识别
2023-03-17 v1
摘要
仅使用图像级监督的弱监督语义分割(weakly supervised semantic segmentation, WSSS)是一项具有挑战性的任务。大多数现有方法利用类激活图(Class Activation Maps, CAM)生成像素级伪标签以进行监督训练。然而,由于卷积神经网络(Convolution Neural Networks, CNN)的局部感受野,CNN上的CAM常受限于局部激活——仅高亮最具判别力的部分而非整个目标区域。为同时捕获局部特征与全局表示,Conformer被提出将视觉Transformer分支与CNN分支结合。本文提出TransCAM,一种基于Conformer的WSSS解决方案,其显式利用Conformer中Transformer分支的注意力权重来细化由CNN分支生成的CAM。TransCAM的动机源于我们的观察:浅层Transformer块的注意力权重能够捕获低层空间特征相似性,而深层Transformer块的注意力权重捕获高层语义上下文。尽管简单,TransCAM在PASCAL VOC 2012验证集和测试集上分别取得了69.3%和69.6%的新最优(state-of-the-art, SOTA)性能,显示了基于Transformer注意力的CAM细化对WSSS的有效性。
引用
@article{arxiv.2203.07239,
title = {TransCAM: Transformer Attention-based CAM Refinement for Weakly Supervised Semantic Segmentation},
author = {Ruiwen Li and Zheda Mai and Chiheb Trabelsi and Zhibo Zhang and Jongseong Jang and Scott Sanner},
journal= {arXiv preprint arXiv:2203.07239},
year = {2023}
}