从不确定性推断与亲和度多样化的视角解决弱监督语义分割中的歧义问题
计算机视觉与模式识别
2024-04-15 v1
摘要
带有图像级标签的弱监督语义分割 (WSSS) 旨在无需繁杂标注的情况下实现密集任务。然而，由于上下文歧义和区域模糊，WSSS 的性能，尤其是生成类激活图 (CAM) 和精炼伪掩码阶段，普遍受到歧义的影响，而以往文献鲜少关注这一点。在本工作中，我们提出了 UniA，一个统一的单阶段 WSSS 框架，分别从不确定性推断和亲和度多样化的视角高效解决该问题。在激活类目标时，我们认为错误激活源于特征提取过程中对歧义区域的偏置。因此，我们设计了一种基于概率高斯分布的更鲁棒的特征表示，并引入不确定性估计以避免该偏置。特别地，我们提出了一种分布损失来监督该过程，从而有效捕捉歧义并建模特征间的复杂依赖关系。在精炼伪标签时，我们观察到主流精炼方法中的亲和度在歧义区域间趋于相似。为此，我们提出了一个亲和度多样化模块以促进语义间的多样性。我们提出了一种互补充精炼方法，利用多个推断出的伪标签初步校正歧义亲和度。更重要的是，我们进一步设计了一种对比亲和度损失，以多样化无关联语义间的关系，从而可靠地将多样性传播至整个特征表示中，并有助于生成更好的伪掩码。我们在 PASCAL VOC、MS COCO 和医学 ACDC 数据集上进行了大量实验，验证了 UniA 解决歧义问题的有效性，及其相较于近期单阶段甚至大多数多阶段竞争方法的优越性。
引用
@article{arxiv.2404.08195,
title = {Tackling Ambiguity from Perspective of Uncertainty Inference and Affinity Diversification for Weakly Supervised Semantic Segmentation},
author = {Zhiwei Yang and Yucong Meng and Kexue Fu and Shuo Wang and Zhijian Song},
journal= {arXiv preprint arXiv:2404.08195},
year = {2024}
}