校准 Transformer 中弱监督语义分割的无序过平滑
计算机视觉与模式识别
2025-05-30 v2
摘要
弱监督语义分割(WSSS)近年来受到相当关注，因为它比全监督方法需要更少的标注，使其特别适用于大规模图像分割任务。尽管许多基于视觉 transformer 的方法利用自注意力亲和矩阵来精炼类激活图(CAMs)，它们通常平等对待每一层的亲和性，从而在更深层引入显著的背景噪声，其中注意力往往过度收敛于某些 token（即过平滑）。我们观察到这种深层注意力自然收敛于 token 子集，但不受约束的查询-键亲和性会产生不可预测的激活模式（无序过平滑）， adversely 影响 CAM 准确性。为解决这些局限，我们提出自适应重激活机制(AReAM)，它以熵感知的方式利用浅层亲和性引导更深层收敛，从而抑制背景噪声并重激活 CAMs 中的关键语义区域。在两个常用数据集上的实验表明，与现有 WSSS 方法相比，AReAM 大幅提升了分割性能，在减少噪声的同时强化对相关语义区域的聚焦。总体而言，本工作强调了控制深层注意力以缓解无序过平滑的重要性，引入了协调浅层与深层亲和性的熵感知机制，并提供了一种通过重激活 CAMs 提升基于 transformer 的 WSSS 准确性的精炼方法。
引用
@article{arxiv.2305.03112,
title = {Calibrating Undisciplined Over-Smoothing in Transformer for Weakly Supervised Semantic Segmentation},
author = {Lechao Cheng and Zerun Liu and Jingxuan He and Chaowei Fang and Dingwen Zhang and Meng Wang},
journal= {arXiv preprint arXiv:2305.03112},
year = {2025}
}