SPCL：一种基于语义原型对比学习的域自适应语义分割新框架
计算机视觉与模式识别
2022-05-03 v2
摘要
尽管有监督语义分割取得了显著进展，但由于域偏差，将分割模型部署到未见过的域仍然具有挑战性。域自适应可以通过将知识从有标签的源域迁移到无标签的目标域来帮助解决这个问题。以往的方法通常试图在全局特征上进行自适应，然而，特征空间中每个像素的局部语义关联常常被忽略，导致判别力不足。为了解决这个问题，我们提出了一种新颖的基于语义原型的对比学习框架，用于细粒度类别对齐。具体来说，语义原型为逐像素的判别性表示学习提供监督信号，并且要求源域和目标域在特征空间中的每个像素都反映相应语义原型的内容。通过这种方式，我们的框架能够显式地使类内像素表示更接近，类间像素表示更远离，从而提高分割模型的鲁棒性并缓解域偏移问题。我们的方法易于实现，并且与最先进的方法相比取得了优越的结果，大量实验证明了这一点。代码已公开于 https://github.com/BinhuiXie/SPCL。
引用
@article{arxiv.2111.12358,
title = {SPCL: A New Framework for Domain Adaptive Semantic Segmentation via Semantic Prototype-based Contrastive Learning},
author = {Binhui Xie and Mingjia Li and Shuang Li},
journal= {arXiv preprint arXiv:2111.12358},
year = {2022}
}
备注
23 pages, 9 figures; The code is publicly available at https://github.com/BinhuiXie/SPCL