面向弱监督语义分割的细粒度背景表示
计算机视觉与模式识别
2024-06-25 v1 人工智能
摘要
在弱监督语义分割（WSSS）任务中，由于缺乏空间信息，生成可靠的伪掩码具有挑战性。基于类别激活图（CAM）的常见方法难以区分前景（FG）对象与可疑背景（BG）像素（即共现像素），以及学习完整的对象区域。本文提出一种简单的方法——细粒度背景表示（FBR），以发现和表示多样化的背景语义，从而解决共现问题。我们放弃使用类别原型或像素级特征进行背景表示，转而开发一种新颖的基本元素——负区域兴趣（NROI），以捕获细粒度的背景语义信息，并通过像素到NROI的对比来区分混淆的背景像素。我们还提出一种主动采样策略，以实时挖掘前景负样本，实现像素到像素的内部前景对比学习，以激活整个对象区域。由于其设计简洁且使用便捷，我们的方法可以无缝集成到各种模型中，在各种WSSS设置下均能取得新的状态最佳结果。仅凭图像级（I）标签监督，我们的方法在Pascal Voc和MS COCO测试集上分别实现了73.2 mIoU和45.6 mIoU的分割结果。此外，通过将显著性图作为额外的监督信号（I+S），我们在Pascal Voc测试集上达到了74.9 mIoU。与此同时，我们的FBR方法在弱监督实例分割（WSIS）任务中也展现出显著的性能提升，凸显了其在多样化领域中的鲁棒性和强大泛化能力。
引用
@article{arxiv.2406.15755,
title = {Fine-grained Background Representation for Weakly Supervised Semantic Segmentation},
author = {Xu Yin and Woobin Im and Dongbo Min and Yuchi Huo and Fei Pan and Sung-Eui Yoon},
journal= {arXiv preprint arXiv:2406.15755},
year = {2024}
}