认识你的注意力图：用于弱监督语义分割的类特定 Token 掩码
计算机视觉与模式识别
2025-07-10 v1
摘要
弱监督语义分割 (WSSS) 是近年来广受关注的具有挑战性的问题。传统方法通常依赖于 Class Activation Map 等外部模块来突出显示感兴趣的区域并生成伪分割掩码。本文提出了一种端到端的方法，直接利用视觉转换器 (ViT) 学习的注意力图用于 WSSS。我们提出通过训练稀疏 ViT，使用多个 [CLS] token（每个类别一个），采用随机掩码策略来促进 [CLS] token 与类别之间的分配。在推断时，我们聚合每个 [CLS] token 对应预测标签的不同自注意力图，以生成伪分割掩码。我们的方法增强了自注意力图的可解释性，并确保了准确的类别分配。在两个标准基准和三个专门数据集上的大量实验表明，我们的方法生成的伪掩码准确，优于相关工作。这些伪掩码可用于训练分割模型，实现的效果可与完全监督模型相当，显著减少了对细粒度标注数据的需求。
引用
@article{arxiv.2507.06848,
title = {Know Your Attention Maps: Class-specific Token Masking for Weakly Supervised Semantic Segmentation},
author = {Joelle Hanna and Damian Borth},
journal= {arXiv preprint arXiv:2507.06848},
year = {2025}
}