半监督语义分割遇上掩码建模：一致性正则化中的细粒度局部性学习
计算机视觉与模式识别
2023-12-15 v1
摘要
半监督语义分割旨在利用有限的标注图像和大量未标注图像以实现标签高效学习，其中由 FixMatch 推广的弱到强一致性正则化框架被广泛用作基准方案。尽管该方案有效，我们观察到其在局部区域难以实现令人满意的分割。这可能是因为它最初源于图像分类任务，且缺乏专门机制来捕获密集预测中优先考虑的细粒度局部语义。为解决此问题，我们提出了一种名为 \texttt{MaskMatch} 的新框架，该框架能够实现细粒度局部性学习以获得更好的密集分割。在原有的师生框架基础上，我们设计了一个掩码建模代理任务，鼓励学生模型在给定未掩码图像块（即使仅占 30%）的情况下预测分割，并强制预测结果与教师模型使用完整图像生成的伪标签保持一致。该设计的动机在于：如果在邻域信息不足的情况下预测结果更具一致性，则表明获得了更强的细粒度局部性感知。此外，鉴于可靠伪标签在上述局部性学习及原始一致性学习方案中的重要性，我们设计了一种多尺度集成策略，在生成伪标签时考虑不同抽象层级的上下文。在基准数据集上的大量实验证明了我们方法相对于以往方法的优越性及其即插即用的灵活性。
引用
@article{arxiv.2312.08631,
title = {Semi-supervised Semantic Segmentation Meets Masked Modeling:Fine-grained Locality Learning Matters in Consistency Regularization},
author = {Wentao Pan and Zhe Xu and Jiangpeng Yan and Zihan Wu and Raymond Kai-yu Tong and Xiu Li and Jianhua Yao},
journal= {arXiv preprint arXiv:2312.08631},
year = {2023}
}