MoRe：弱监督语义分割中的类块注意力需要正则化
计算机视觉与模式识别
2025-01-20 v3
摘要
带有图像级标签的弱监督语义分割通常使用类激活图来实现密集预测。最近，Vision Transformer 提供了一种替代方案，通过类块注意力生成定位图。然而，由于对这种注意力建模的约束不足，我们观察到定位注意力图经常面临伪影问题，即具有最小语义相关性的块区域被类标记错误激活。在这项工作中，我们提出 MoRe 来解决这个问题并进一步探索 LAM 的潜力。我们的发现表明，对类块注意力施加额外的正则化是必要的。为此，我们首先将该注意力视为一种新型有向图，并提出图类别表示模块以隐式地正则化类块实体之间的交互。它确保类标记在图级别动态凝聚相关的块信息并抑制不相关的伪影。其次，受分类权重的 CAM 保持平滑物体定位这一观察的启发，我们设计了定位信息正则化模块以显式地正则化类块注意力。它直接从 CAM 中挖掘标记关系，并以可学习的方式进一步监督类标记和块标记之间的一致性。在 PASCAL VOC 和 MS COCO 上进行了大量实验，验证了 MoRe 有效解决了伪影问题并取得了最先进的性能，超越了近期的单阶段甚至多阶段方法。代码可在 https://github.com/zwyang6/MoRe 获取。
引用
@article{arxiv.2412.11076,
title = {MoRe: Class Patch Attention Needs Regularization for Weakly Supervised Semantic Segmentation},
author = {Zhiwei Yang and Yucong Meng and Kexue Fu and Shuo Wang and Zhijian Song},
journal= {arXiv preprint arXiv:2412.11076},
year = {2025}
}
备注
AAAI 2025