基于多对抗训练正则化代理标签的无监督域自适应语义分割
计算机视觉与模式识别
2019-07-30 v1
摘要
训练语义分割模型需要大量像素级标注，阻碍了其规模化应用。借助计算机图形学，我们可生成几乎无限的带精确标注的训练数据。然而，使用合成数据训练的深度模型通常因域偏移而无法直接很好地泛化到真实图像。已有观察表明，可依托带标签的合成数据对无标签真实图像预测出高置信度标签。为应对无监督域自适应问题，我们探索生成高质量标签作为代理标签以监督目标数据训练的可能性。具体而言，我们提出一种基于代理并使用多对抗训练的新方法。我们首先使用合成数据（源域）训练模型。多个判别器用于在不同层级对齐源域与目标域（真实图像）之间的特征。随后我们聚焦于通过结合类别预测器的置信度与对抗判别器的置信度来获取并筛选高质量代理标签。我们的判别器不仅作为鼓励特征对齐的正则化器，还为生成代理标签提供另一种置信度度量。依托所生成的高质量代理，我们的模型可在目标域上以“有监督方式”训练。在两项主要任务 GTA5->Cityscapes 与 SYNTHIA->Cityscapes 上，我们的方法取得了最先进的结果，大幅超越先前方法。
引用
@article{arxiv.1907.12282,
title = {Regularizing Proxies with Multi-Adversarial Training for Unsupervised Domain-Adaptive Semantic Segmentation},
author = {Tong Shen and Dong Gong and Wei Zhang and Chunhua Shen and Tao Mei},
journal= {arXiv preprint arXiv:1907.12282},
year = {2019}
}