用于语义分割中无监督域适应的对比学习与自训练
计算机视觉与模式识别
2021-05-06 v1 人工智能
摘要
深度卷积神经网络已显著改进了语义分割的最先进结果。然而，即便是现代架构也缺乏很好地泛化到来自不同领域的测试数据集的能力。为避免为未知领域标注训练数据的高昂成本，无监督域适应（UDA）试图实现从有标签的源领域到无标签的目标领域的高效知识迁移。先前的工作主要通过使用对抗训练或自训练来最小化两个领域间的差异。虽然对抗训练可能因最小化全局分布间的差异而无法对齐正确的语义类别，但自训练提出了如何提供可靠伪标签的问题。为跨领域对齐正确的语义类别，我们提出了一种对比学习方法，该方法适配跨领域的类别级质心。此外，我们通过自训练扩展了我们的方法，其中我们使用内存高效的时间集成来生成一致且可靠的伪标签。尽管对比学习和通过时间集成的自训练（CLST）均能使知识在两个领域间迁移，但正是它们的结合才产生了一种共生结构。我们在两个域适应基准上验证了我们的方法：GTA5 Cityscapes 和 SYNTHIA Cityscapes。我们的方法取得了优于或可与最先进水平相媲美的结果。我们将公开代码。
引用
@article{arxiv.2105.02001,
title = {Contrastive Learning and Self-Training for Unsupervised Domain Adaptation in Semantic Segmentation},
author = {Robert A. Marsden and Alexander Bartler and Mario Döbler and Bin Yang},
journal= {arXiv preprint arXiv:2105.02001},
year = {2021}
}