基于像素到原型对比的弱监督语义分割
计算机视觉与模式识别
2022-03-15 v3
摘要
尽管以类激活图(CAMs)为基石的图像级弱监督语义分割(WSSS)已取得很大进展，但分类与分割之间巨大的监督鸿沟仍阻碍模型生成更完整、更精确的伪掩码用于分割。本研究提出弱监督像素到原型对比，可提供像素级监督信号以缩小该鸿沟。在两项直观先验引导下，我们的方法在图像的不同视图间及单个视图内执行，旨在施加跨视图特征语义一致性正则化，并促进特征空间类内(间)的紧致性(分散性)。该方法可无缝集成到现有WSSS模型中，无需改动基础网络且不带来额外推理负担。大量实验表明，我们的方法以较大幅度持续提升两个强基线，证明了其有效性。具体而言，在SEAM之上，我们将PASCAL VOC 2012上的初始种子mIoU从55.4%提升至61.5%。此外，借助我们的方法，我们将EPS的分割mIoU从70.8%提升至73.6%，取得了新的state-of-the-art。
引用
@article{arxiv.2110.07110,
title = {Weakly Supervised Semantic Segmentation by Pixel-to-Prototype Contrast},
author = {Ye Du and Zehua Fu and Qingjie Liu and Yunhong Wang},
journal= {arXiv preprint arXiv:2110.07110},
year = {2022}
}
备注
10 pages, 5 figures. Accepted by CVPR'22