GETAM：用于弱监督语义分割的梯度加权逐元素Transformer注意力图
计算机视觉与模式识别
2022-05-11 v2
摘要
弱监督语义分割（WSSS）具有挑战性，尤其是在使用图像级标签来监督像素级预测时。为弥合二者差距，通常生成类激活图（CAM）以提供像素级伪标签。卷积神经网络中的CAM存在局部激活问题，即仅激活最具判别性的区域。另一方面，基于Transformer的方法通过长程依赖建模探索全局上下文极为有效，有望缓解“局部激活”问题。本文提出首个基于Transformer的WSSS方法，并引入梯度加权逐元素Transformer注意力图（GETAM）。GETAM对所有特征图元素显示出精细尺度激活，揭示了Transformer各层中物体的不同部分。进一步，我们提出激活感知标签补全模块以生成高质量伪标签。最后，我们将方法整合进一个使用双反向传播的端到端WSSS框架。在PASCAL VOC和COCO上的大量实验表明，我们的结果大幅超越最先进的端到端方法，并优于大多数多阶段方法。
引用
@article{arxiv.2112.02841,
title = {GETAM: Gradient-weighted Element-wise Transformer Attention Map for Weakly-supervised Semantic segmentation},
author = {Weixuan Sun and Jing Zhang and Zheyuan Liu and Yiran Zhong and Nick Barnes},
journal= {arXiv preprint arXiv:2112.02841},
year = {2022}
}