PRCL：面向半监督语义分割的概率表示对比学习
计算机视觉与模式识别
2024-02-29 v1 机器学习
摘要
通过对比学习，半监督语义分割（S4）取得了巨大突破。然而，由于标注有限，对未标注图像的引导由模型自身生成，这不可避免地存在噪声并干扰无监督训练过程。为解决此问题，我们提出一个鲁棒的基于对比的S4框架，称为概率表示对比学习（PRCL）框架，以增强无监督训练过程的鲁棒性。我们通过多元高斯分布将像素级表示建模为概率表示（PR），并调整模糊表示的贡献，以容忍对比学习中不准确引导的风险。此外，我们通过在整个训练过程中收集所有PR引入全局分布原型（GDP）。由于GDP包含同一类所有表示的信息，它对表示中的瞬时噪声具有鲁棒性，并承载了表示的类内方差。此外，我们基于GDP生成虚拟负样本（VN）以参与对比学习过程。在两个公开基准上的大量实验证明了我们PRCL框架的优越性。
引用
@article{arxiv.2402.18117,
title = {PRCL: Probabilistic Representation Contrastive Learning for Semi-Supervised Semantic Segmentation},
author = {Haoyu Xie and Changqi Wang and Jian Zhao and Yang Liu and Jun Dan and Chong Fu and Baigui Sun},
journal= {arXiv preprint arXiv:2402.18117},
year = {2024}
}
备注
19 pages, 11 figures