用于弱监督语义分割的补丁互补表示
计算机视觉与模式识别
2021-08-10 v1
摘要
基于图像级标签的弱监督语义分割（WSSS）通过利用类激活图（CAM）的输出生成语义分割的伪标签已得到极大推进。然而，CAM仅从少量区域中发现种子，可能不足以作为语义分割的伪掩码。本文将从CAM中扩展目标区域表述为信息的增加。从信息论视角，我们提出一种新颖的补丁互补（CP）表示，并证明一对具有互补隐藏（打补丁）部分的输入图像（即CP对）的CAM之和的信息大于或等于基线CAM的信息。因此，通过缩小CP对生成的CAM之和与原始CAM之间的差距，可获得包含更多与目标种子相关信息量的CAM。我们提出由三元组和三个正则化函数实现的CP网络（CPN）。为进一步提升CAM质量，我们提出像素-区域关联模块（PRCM），利用特征图与CAM之间的目标区域关系增强上下文信息。在PASCAL VOC 2012数据集上的实验结果表明，我们所提方法在WSSS上达到了新的最先进水平（SOTA），验证了CP表示与CPN的有效性。
引用
@article{arxiv.2108.03852,
title = {Complementary Patch for Weakly Supervised Semantic Segmentation},
author = {Fei Zhang and Chaochen Gu and Chenyue Zhang and Yuchao Dai},
journal= {arXiv preprint arXiv:2108.03852},
year = {2021}
}
备注
10 pages, accepted in ICCV2021