用于弱监督目标定位与语义分割的背景激活抑制
计算机视觉与模式识别
2023-09-25 v1
摘要
弱监督目标定位与语义分割旨在仅利用图像级标签来定位目标。近来，一种通过生成前景预测图 (FPM) 实现像素级定位的新范式涌现。现有基于 FPM 的方法使用交叉熵来评估前景预测图并指导生成器的学习，本文针对目标定位学习过程提出了两个令人惊讶的实验观察：对于一个训练好的网络，随着前景掩码扩张，1) 当前景掩码仅覆盖部分目标区域时，交叉熵已收敛至零。2) 激活值持续增大，直至前景掩码扩张到目标边界。因此，为实现更有效的定位性能，我们主张利用激活值来学习更多目标区域。本文提出背景激活抑制 (BAS) 方法。具体而言，设计了一个激活图约束 (AMC) 模块，通过抑制背景激活值来促进生成器的学习。同时，借助前景区域引导与面积约束，BAS 能学习目标的整个区域。在推理阶段，我们将不同类别的预测图综合考虑以获得最终定位结果。大量实验表明，BAS 在 CUB-200-2011 和 ILSVRC 数据集上相较基线方法取得显著且一致的提升。此外，我们的方法在 PASCAL VOC 2012 和 MS COCO 2014 数据集上也取得了最先进的弱监督语义分割性能。代码与模型见 https://github.com/wpy1999/BAS-Extension。
引用
@article{arxiv.2309.12943,
title = {Background Activation Suppression for Weakly Supervised Object Localization and Semantic Segmentation},
author = {Wei Zhai and Pingyu Wu and Kai Zhu and Yang Cao and Feng Wu and Zheng-Jun Zha},
journal= {arXiv preprint arXiv:2309.12943},
year = {2023}
}
备注
Accepted by IJCV. arXiv admin note: text overlap with arXiv:2112.00580