伪掩码在弱监督语义分割中的作用

Yi Li; Zhanghui Kuang; Liyang Liu; Yimin Chen; Wayne Zhang

伪掩码在弱监督语义分割中的作用

计算机视觉与模式识别 2021-09-08 v2

作者: Yi Li , Zhanghui Kuang , Liyang Liu , Yimin Chen , Wayne Zhang

摘要

大多数弱监督语义分割（WSSS）方法遵循如下流程：先生成伪掩码，之后以全监督方式用伪掩码训练分割模型。然而，我们发现了一些与伪掩码相关的问题，包括从类激活图（CAMs）生成高质量伪掩码，以及用含噪伪掩码监督进行训练。针对这些问题，我们提出以下设计以将性能推至新的 SOTA： (i) 变异系数平滑（Coefficient of Variation Smoothing）来自适应平滑 CAMs；(ii) 比例伪掩码生成（Proportional Pseudo-mask Generation）基于一种指示各类在各位置重要性的新度量，将扩展后的 CAMs 投影为伪掩码，而非使用二分类器训练得到的分数；(iii) 伪欠拟合策略（Pretended Under-Fitting strategy）以抑制伪掩码中噪声的影响；(iv) 循环伪掩码（Cyclic Pseudo-mask）以在全监督语义分割（FSSS）训练过程中提升伪掩码。基于我们的方法在两个具有挑战性的弱监督语义分割数据集上的实验取得了新的 SOTA 结果，在 PAS-CAL VOC 2012 和 MS COCO 2014 上分别将 mIoU 推至 70.0% 和 40.2%。包含分割框架的代码发布于 https://github.com/Eli-YiLi/PMM

关键词

弱监督语义分割伪掩码类激活图变异系数平滑比例伪掩码生成伪欠拟合循环伪掩码

引用

@article{arxiv.2108.12995,
  title  = {Pseudo-mask Matters in Weakly-supervised Semantic Segmentation},
  author = {Yi Li and Zhanghui Kuang and Liyang Liu and Yimin Chen and Wayne Zhang},
  journal= {arXiv preprint arXiv:2108.12995},
  year   = {2021}
}

备注

Accepted by ICCV2021

伪掩码在弱监督语义分割中的作用

摘要

关键词

引用

备注

相关论文