无需外部数据的多目标无监督域适应语义分割
计算机视觉与模式识别
2024-05-13 v1
摘要
多目标无监督域适应（UDA）旨在学习一个统一模型，以解决多个目标域之间的域偏移问题。由于获取密集预测的标注困难，该方法最近被引入跨域语义分割。然而，大多数现有解决方案在训练期间需要同时使用源域的标注数据和多个目标域的无标注数据。我们统称这些数据为“外部数据”。当面对来自未见目标域的新无标注数据时，这些解决方案要么泛化能力不佳，要么需要基于所有数据从头重新训练。为了解决这些挑战，我们为语义分割引入了一种名为“无需外部数据的多目标UDA”的新策略。具体来说，分割模型首先在外部数据上进行训练。然后，在不访问任何外部数据的情况下，将其适配到新的未见目标域。因此，这种方法比现有解决方案更具可扩展性，并且在外部数据不可访问时仍然适用。我们通过一种结合了自蒸馏和对抗学习的简单方法来演示这一策略，其中通过“单向”对抗学习在适配过程中保留从外部数据获取的知识。在四个基准城市驾驶数据集上进行的多种合成到真实和真实到真实适配设置的大量实验表明，即使在没有外部数据的情况下，我们的方法也显著优于当前最先进的解决方案。我们的源代码可在线获取（https://github.com/YonghaoXu/UT-KD）。
引用
@article{arxiv.2405.06502,
title = {Multi-Target Unsupervised Domain Adaptation for Semantic Segmentation without External Data},
author = {Yonghao Xu and Pedram Ghamisi and Yannis Avrithis},
journal= {arXiv preprint arXiv:2405.06502},
year = {2024}
}