利用概率表示提升半监督语义分割
计算机视觉与模式识别
2022-12-19 v3
摘要
半监督语义分割的最新突破是通过对比学习取得的。在流行的逐像素对比学习解决方案中，模型将像素映射为确定性表示并在潜在空间中对它们进行正则化。然而，由于模型的认知能力有限，存在不准确的伪标签，将像素的模糊表示映射到错误的类别。在本文中，我们从概率论的新视角定义了逐像素表示，并提出了一种概率表示对比学习 (PRCL) 框架，通过考虑其概率来提高表示质量。通过多元高斯分布将像素到表示的映射建模为概率，我们可以调整模糊表示的贡献，以容忍不准确伪标签带来的风险。此外，我们以分布的形式定义原型，这表明了一个类别的置信度，而点原型则无法做到这一点。此外，我们提出对分布方差进行正则化以增强表示的可靠性。利用这些优势，可以在潜在空间中导出高质量的特征表示，从而进一步提高语义分割的性能。我们在 Pascal VOC 和 CityScapes 上进行了充分的实验以评估 PRCL，证明了其优越性。代码可在 https://github.com/Haoyu-Xie/PRCL 获取。
引用
@article{arxiv.2210.14670,
title = {Boosting Semi-Supervised Semantic Segmentation with Probabilistic Representations},
author = {Haoyu Xie and Changqi Wang and Mingkai Zheng and Minjing Dong and Shan You and Chong Fu and Chang Xu},
journal= {arXiv preprint arXiv:2210.14670},
year = {2022}
}
备注
Accepted to AAAI 2023