面向注意力增强类激活图的嵌入信息双优化方法
计算机视觉与模式识别
2025-02-25 v1
摘要
弱监督语义分割（WSSS）通常利用有限的语义注释获取初始类激活图（CAM）。然而，由于类激活响应与高维空间中语义信息的耦合不足，CAM 容易出现对象共现或欠激活，导致识别准确率较低。为解决此问题，我们提出了 DOEI（Dual Optimization of Embedding Information），一种新型方法，通过语义感知注意力权重矩阵重构嵌入表示，以优化嵌入信息的表达能力。具体而言，DOEI 在类到 patch 交互过程中放大置信度高的 token，抑制置信度低的 token。这种激活响应与语义信息的对齐，强化了目标特征的传播与解耦，使生成的嵌入更准确地代表高层语义空间中的目标特征。此外，我们在 DOEI 中提出了混合特征对齐模块，将 RGB 值、嵌入引导特征和自注意力权重组合，增加了候选 token 的可靠性。广泛实验表明，DOEI 是一种有效的即插即用模块，显著提升了基于视觉转换器的 WSSS 模型在 PASCAL VOC (+3.6%, +1.5%, +1.2% mIoU) 和 MS COCO (+1.2%, +1.6% mIoU) 上的 CAM 质量和分割性能。代码将在 https://github.com/AIGeeksGroup/DOEI 提供。
引用
@article{arxiv.2502.15885,
title = {DOEI: Dual Optimization of Embedding Information for Attention-Enhanced Class Activation Maps},
author = {Hongjie Zhu and Zeyu Zhang and Guansong Pang and Xu Wang and Shimin Wen and Yu Bai and Daji Ergu and Ying Cai and Yang Zhao},
journal= {arXiv preprint arXiv:2502.15885},
year = {2025}
}