用于域自适应语义分割的双向对比学习

我们提出了一种新颖的无监督域自适应语义分割方法，可将使用源图像及相应真实标签训练的模型泛化到目标域。域自适应语义分割的关键在于在没有目标真实标签的情况下学习域不变且具有判别力的特征。为此，我们提出了一种双向像素-原型对比学习框架，该框架最小化同一物体类别的特征类内差异，同时最大化不同类别的的类间差异，且不受域的影响。具体而言，我们的框架分别在目标与源图像中将像素级特征与同一物体类别的原型对齐（即正样本对），对不同类别则将其分开（即负样本对），并以相反方向执行对齐与分离过程，即使用源图像中的像素级特征与目标图像中的原型。跨域匹配鼓励域不变的特征表示，而双向像素-原型对应则为同一物体类别聚合特征，提供具有判别力的特征。为建立对比学习的训练对，我们提出使用非参数标签迁移（即跨域的像素-原型对应）生成目标图像的动态伪标签。我们还提出了一种校准方法，在训练过程中逐步补偿原型的类间域偏差。