基于注意力的类激活扩散用于弱监督语义分割
计算机视觉与模式识别
2022-11-22 v1
摘要
提取类激活图（CAM）是弱监督语义分割（WSSS）的关键步骤。卷积神经网络的 CAM 无法捕获图像上的长程特征依赖，导致仅覆盖前景目标部分，即存在大量假阴性。一种直观的解决方案是将 CAM 与视觉 transformer（ViT）的长程注意力矩阵“耦合”。我们发现直接的“耦合”，例如注意力与激活的逐像素相乘，实现了更全局的（前景）覆盖，但不幸地伴随假阳性的大幅增加，即背景像素被错误包含。本文旨在解决该问题。提出一种以概率扩散方式耦合 CAM 与注意力矩阵的新方法，称之为 AD-CAM。直观上，它以保守且令人信服的方式整合 ViT 注意力与 CAM 激活。保守性通过基于一对像素各自对共同邻居的注意力来精炼二者间注意力实现，其直觉是两个具有极不同邻域的像素很少相关，即它们的注意力应被降低。可信性通过将像素的激活按其相应注意力比例扩散至其邻居（在 CAM 上，依据 AM 上的注意力）实现。实验中，我们在 PASCAL VOC 和 MS~COCO 两个具挑战性的 WSSS 基准上的结果表明，作为伪标签的 AD-CAM 能比最先进的 CAM 变体产生更强的 WSSS 模型。
引用
@article{arxiv.2211.10931,
title = {Attention-based Class Activation Diffusion for Weakly-Supervised Semantic Segmentation},
author = {Jianqiang Huang and Jian Wang and Qianru Sun and Hanwang Zhang},
journal= {arXiv preprint arXiv:2211.10931},
year = {2022}
}