中文

SePiCo:面向域自适应语义分割的语义引导像素对比

计算机视觉与模式识别 2023-02-21 v2

摘要

域自适应语义分割试图利用在带标签源域上训练的有监督模型,在未带标签目标域上获得满意的稠密预测。本工作中,我们提出语义引导像素对比(SePiCo),一种新颖的单阶段自适应框架,其突出单个像素的语义概念以促进跨域类判别且类均衡的像素表征学习,最终提升自训练方法的性能。具体而言,为探索恰当的语义概念,我们首先研究了一种质心感知像素对比,其利用整个源域或单张源图像的类别质心来引导判别性特征的学习。考虑到语义概念中可能缺乏类别多样性,我们继而开辟分布视角以引入充足数量的实例,即分布感知像素对比,其中我们根据带标签源数据的统计量近似每个语义类别的真实分布。此外,该优化目标通过隐式涉及无限多(不)相似对可推导出一个闭式上界,使其计算高效。大量实验表明,SePiCo 不仅有助于稳定训练,还能产生判别性表征,在合成到真实以及白天到夜晚的适应场景中均取得显著进展。

关键词

引用

@article{arxiv.2204.08808,
  title  = {SePiCo: Semantic-Guided Pixel Contrast for Domain Adaptive Semantic Segmentation},
  author = {Binhui Xie and Shuang Li and Mingjia Li and Chi Harold Liu and Gao Huang and Guoren Wang},
  journal= {arXiv preprint arXiv:2204.08808},
  year   = {2023}
}

备注

Accepted by IEEE Transactions on Pattern Analysis and Machine Intelligence (T-PAMI). Code is available at https://github.com/BIT-DA/SePiCo