面向弱监督语义分割的标签分布建模
图像与视频处理
2024-03-21 v1
摘要
弱监督语义分割（WSSS）旨在通过弱标签训练分割模型，因其标注成本低而受到广泛关注。现有方法侧重于生成伪标签进行监督，却在很大程度上忽略了利用不同伪标签之间固有的语义相关性。我们观察到，在特征空间中彼此接近的伪标签像素更有可能属于同一类别，而那些更接近分布中心的像素往往具有更高的置信度。受此启发，我们提出对潜在的标签分布进行建模，并采用跨标签约束来生成更准确的伪标签。在本文中，我们开发了一个名为自适应高斯混合模型的统一 WSSS 框架，该框架利用 GMM 对标签分布进行建模。具体而言，我们计算伪标签像素的特征分布中心，并通过测量中心与每个伪标签像素之间的距离来构建 GMM。然后，我们引入在线期望最大化（OEM）算法和一种新颖的最大化损失来自适应地优化 GMM，旨在学习不同类别高斯混合之间更具判别性的决策边界。基于标签分布，我们利用 GMM 生成高质量伪标签以提供更可靠的监督。我们的框架能够处理不同形式的弱标签：图像级标签、点、涂鸦、块和边界框。在 PASCAL、COCO、Cityscapes 和 ADE20K 数据集上的大量实验表明，我们的框架能够有效提供更可靠的监督，并在所有设置下均优于 SOTA 方法。代码将在 https://github.com/Luffy03/AGMM-SASS 提供。
引用
@article{arxiv.2403.13225,
title = {Modeling the Label Distributions for Weakly-Supervised Semantic Segmentation},
author = {Linshan Wu and Zhun Zhong and Jiayi Ma and Yunchao Wei and Hao Chen and Leyuan Fang and Shutao Li},
journal= {arXiv preprint arXiv:2403.13225},
year = {2024}
}