探索高质量目标域信息用于无监督域自适应语义分割
计算机视觉与模式识别
2022-08-15 v1
摘要
在无监督域自适应(UDA)语义分割中，基于蒸馏的方法目前在性能上占主导地位。然而，蒸馏技术需要复杂的多阶段过程和许多训练技巧。本文中，我们提出一种简单而有效的方法，可达到与先进蒸馏方法相竞争的性能。我们的核心思想是分别从边界和特征的角度充分挖掘目标域信息。首先，我们提出一种新颖的mix-up策略，以生成带有真实标签的高质量目标域边界。与以往工作中的源域边界不同，我们选取高置信度的目标域区域，并将其粘贴到源域图像上。该策略可生成带有正确标签的目标域物体边界(目标域物体区域的边缘)。因此，通过学习混合样本，可有效捕获目标域的边界信息。其次，我们设计了一种多级对比损失以改进目标域数据的表征，包括像素级与原型级对比学习。结合两种所提方法，可提取更具判别性的特征，并更好地处理目标域中困难的物体边界。在两个常用基准(即GTA5 Cityscapes和SYNTHIA Cityscapes)上的实验结果表明，我们的方法与复杂的蒸馏方法相比具有竞争性能。值得注意的是，对于SYNTHIA Cityscapes场景，我们的方法在16类和13类上分别以 mIoU和 mIoU取得了最先进(state-of-the-art)性能。代码见https://github.com/ljjcoder/EHTDI。
引用
@article{arxiv.2208.06100,
title = {Exploring High-quality Target Domain Information for Unsupervised Domain Adaptive Semantic Segmentation},
author = {Junjie Li and Zilei Wang and Yuan Gao and Xiaoming Hu},
journal= {arXiv preprint arXiv:2208.06100},
year = {2022}
}