用于弱监督语义分割的类别重激活图
计算机视觉与模式识别
2022-03-03 v1
摘要
提取类别激活图（CAM）可以说是为弱监督语义分割（WSSS）生成伪掩码的最标准步骤。然而，我们发现伪掩码不理想的关键在于 CAM 中广泛使用的二元交叉熵损失（BCE）。具体而言，由于 BCE 的跨类别求和池化特性，CAM 中的每个像素可能对同一感受野中同时出现的多个类别产生响应。因此，对于给定类别，其热力 CAM 像素可能错误地侵入属于其他类别的区域，而非热力像素实际上可能是该类的一部分。为此，我们引入了一种极其简单却出奇有效的方法：使用 softmax 交叉熵损失（SCE）重新激活已收敛的 BCE CAM，称为 ReCAM。给定一张图像，我们使用 CAM 提取每个单一类别的特征像素，并将其与类别标签一起用于学习另一个全连接层（在骨干网络之后），采用 SCE 损失。一旦收敛，我们以与 CAM 相同的方式提取 ReCAM。得益于 SCE 的对比特性，像素响应被解耦到不同类别中，因此预期掩码歧义性更小。在 PASCAL VOC 和 MS COCO 上的评估表明，ReCAM 不仅能生成高质量的掩码，还支持以极小的开销即插即用到任何 CAM 变体中。
引用
@article{arxiv.2203.00962,
title = {Class Re-Activation Maps for Weakly-Supervised Semantic Segmentation},
author = {Zhaozheng Chen and Tan Wang and Xiongwei Wu and Xian-Sheng Hua and Hanwang Zhang and Qianru Sun},
journal= {arXiv preprint arXiv:2203.00962},
year = {2022}
}
备注
Accepted to CVPR 2022