中文

CLUDA:语义分割无监督域适应中的对比学习

计算机视觉与模式识别 2022-11-09 v2

摘要

在本工作中,我们提出 CLUDA,一种简单而新颖的方法,通过将对比损失引入师生学习范式来执行语义分割的无监督域适应 (UDA),该范式利用教师网络从目标域生成的伪标签。更具体地,我们从编码器提取多级融合特征图,并通过图像的源-目标混合,在不同类别与不同域之间施加对比损失。我们在多种特征编码器架构及不同语义分割域适应数据集上持续提升了性能。此外,我们引入一种学习加权对比损失,以改进 UDA 中一种最先进的多分辨率训练方法。我们在 GTA \rightarrow Cityscapes (74.4 mIOU, +0.6) 与 Synthia \rightarrow Cityscapes (67.2 mIOU, +1.4) 数据集上取得了最先进结果。CLUDA 有效地证明了 UDA 中的对比学习是一种通用方法,可轻松集成到任何现有的语义分割 UDA 任务中。实现细节请参阅补充材料。

关键词

引用

@article{arxiv.2208.14227,
  title  = {CLUDA : Contrastive Learning in Unsupervised Domain Adaptation for Semantic Segmentation},
  author = {Midhun Vayyat and Jaswin Kasi and Anuraag Bhattacharya and Shuaib Ahmed and Rahul Tallamraju},
  journal= {arXiv preprint arXiv:2208.14227},
  year   = {2022}
}

备注

Contrastive learning