中文

迈向未知领域:用于半监督语义分割的密度下降特征扰动

计算机视觉与模式识别 2024-03-15 v2

摘要

半监督语义分割允许模型从无标注数据中挖掘有效的监督,以补充标签引导的训练。近期的研究主要集中在一致性正则化技术上,探索在图像和特征层面的扰动不变训练。在本工作中,我们提出了一种新颖的特征级一致性学习框架,命名为密度下降特征扰动 (DDFP)。受半监督学习中低密度分离假设的启发,我们的核心见解是特征密度可以为分割分类器指明最有前景的探索方向,即密度较低的区域。我们提出通过注入扰动将具有置信预测的特征向较低密度区域转移。然后,扰动后的特征受原始特征上的预测监督,从而迫使分类器探索密度较低的区域,以有效地正则化决策边界。我们方法的核心是特征密度的估计。为此,我们引入了一种基于标准化流的轻量级密度估计器,允许以在线方式高效捕获特征密度分布。通过从密度估计器中提取梯度,我们可以确定每个特征向较低密度区域的方向。所提出的 DDFP 在特征级扰动设计上优于其他设计,并在各种划分协议下的 Pascal VOC 和 Cityscapes 数据集上均展现出 SOTA 性能。项目地址:https://github.com/Gavinwxy/DDFP。

关键词

引用

@article{arxiv.2403.06462,
  title  = {Towards the Uncharted: Density-Descending Feature Perturbation for Semi-supervised Semantic Segmentation},
  author = {Xiaoyang Wang and Huihui Bai and Limin Yu and Yao Zhao and Jimin Xiao},
  journal= {arXiv preprint arXiv:2403.06462},
  year   = {2024}
}

备注

Accepted to CVPR 2024