用于弱监督语义分割的显著性引导类间与类内关系约束
计算机视觉与模式识别
2022-06-22 v1
摘要
仅有图像级标签的弱监督语义分割旨在降低分割任务的标注成本。现有方法通常利用类激活图来定位目标区域以生成伪标签。然而，CAMs 只能发现目标最具鉴别性的部分，从而导致较差的像素级伪标签。为了解决这个问题，我们提出了一种显著性引导的类间与类内关系约束（ICRC）框架，以协助扩展 CAMs 中被激活的目标区域。具体而言，我们提出了一个显著性引导的类不可知距离模块，通过将特征对齐到其类原型来拉近类内特征。此外，我们提出了一个类特定距离模块，以推开类间特征，并鼓励目标区域具有比背景更高的激活值。除了增强分类网络在 CAMs 中激活更完整目标区域的能力外，我们还引入了一个目标引导的标签细化模块，以充分利用分割预测和初始标签来获得更优的伪标签。在 PASCAL VOC 2012 和 COCO 数据集上的大量实验充分证明了 ICRC 相对于其他最先进方法的有效性。源代码、模型和数据已在 \url{https://github.com/NUST-Machine-Intelligence-Laboratory/I2CRC} 公开。
引用
@article{arxiv.2206.09554,
title = {Saliency Guided Inter- and Intra-Class Relation Constraints for Weakly Supervised Semantic Segmentation},
author = {Tao Chen and Yazhou Yao and Lei Zhang and Qiong Wang and Guo-Sen Xie and Fumin Shen},
journal= {arXiv preprint arXiv:2206.09554},
year = {2022}
}
备注
TMM2022, 11 pages, 5 figures