基于隐式空间校准 Transformer 的弱监督目标定位
计算机视觉与模式识别
2023-03-13 v2
摘要
弱监督目标定位（WSOL）旨在仅利用图像级标签定位目标，因其在真实应用中标注成本低而备受关注。近期研究利用视觉 Transformer 中自注意力对长程依赖的优势来重新激活语义区域，以避免传统类激活映射（CAM）中的局部激活。然而，Transformer 中的长程建模忽略了目标固有的空间连贯性，通常将语义感知区域扩散至远离目标边界处，使定位结果显著偏大或偏小。为解决此问题，我们引入一个简单而有效的空间校准模块（SCM）以实现准确 WSOL，将补丁 token 的语义相似度及其空间关系统一纳入扩散模型。具体而言，我们引入可学习参数来动态调整语义相关性与空间上下文强度，以实现有效的信息传播。实践中，SCM 设计为 Transformer 的外部模块，推理时可移除以降低计算成本。通过对训练阶段的优化，目标敏感定位能力被隐式嵌入 Transformer 编码器。其使生成的注意力图能够捕捉更清晰的目标边界并滤除与目标无关的背景区域。大量实验结果证明了所提方法的有效性，在 CUB-200 和 ImageNet-1K 基准上均显著优于其对应方法 TS-CAM。代码见 https://github.com/164140757/SCM。
引用
@article{arxiv.2207.10447,
title = {Weakly Supervised Object Localization via Transformer with Implicit Spatial Calibration},
author = {Haotian Bai and Ruimao Zhang and Jiong Wang and Xiang Wan},
journal= {arXiv preprint arXiv:2207.10447},
year = {2023}
}
备注
Accepted by ECCV2022