用于弱监督目标定位与语义分割的类无关激活图对比学习
计算机视觉与模式识别
2022-12-23 v2
摘要
尽管由图像分类网络生成的类激活图（CAM）已被广泛用于弱监督目标定位（WSOL）与语义分割（WSSS），此类分类器通常聚焦于判别性目标区域。本文中，我们提出仅使用无标签图像数据、不涉及图像级监督的类无关激活图（CAM）生成的对比学习。核心思想源于如下观察：i）前景物体的语义信息通常不同于其背景；ii）具有相似外观的前景物体或具有相似颜色/纹理的背景在特征空间中具有相似表示。我们基于上述关系构造正负样本对，并借助一种新颖对比损失迫使网络利用类无关激活图解耦前景与背景。由于网络被引导去判别跨图像的前景-背景，我们所方法学习的类无关激活图生成更完整的目标区域。我们成功地从 CAM 中提取类无关目标边界框用于目标定位，并提取背景线索以细化分类网络生成的 CAM 用于语义分割。在 CUB-200-2011、ImageNet-1K 与 PASCAL VOC2012 数据集上的大量实验表明，WSOL 与 WSSS 均可从所提 CAM 中获益。
引用
@article{arxiv.2203.13505,
title = {Contrastive learning of Class-agnostic Activation Map for Weakly Supervised Object Localization and Semantic Segmentation},
author = {Jinheng Xie and Jianfeng Xiang and Junliang Chen and Xianxu Hou and Xiaodong Zhao and Linlin Shen},
journal= {arXiv preprint arXiv:2203.13505},
year = {2022}
}
备注
Accepted by CVPR 2022