用于语义分割模型无监督域自适应的协同训练方法
计算机视觉与模式识别
2023-01-31 v4
摘要
语义图像分割是自动驾驶中一项核心且具有挑战性的任务,通常通过训练深度模型来解决。由于此类训练受制于基于人工的图像标注瓶颈,使用带有自动生成标签的合成图像与无标签的真实世界图像相结合是一种有前景的替代方案。这意味着需要解决无监督域自适应(UDA)问题。本文中,我们提出了一种用于语义分割模型合成到真实(synth-to-real)UDA的新协同训练流程。它包含一个自训练阶段,提供两个域自适应模型,以及一个用于这两个模型相互提升的模型协作循环。这些模型随后被用于为真实世界图像提供最终的语义分割标签(伪标签)。整体流程将深度模型视为黑盒,并在伪标签目标图像层面驱动其协作,即既不需要修改损失函数,也不需要显式的特征对齐。我们在标准的合成与真实世界车载语义分割数据集上测试了我们的方案。我们的流程相较基线取得了约13至约26个mIoU点的提升,从而确立了新的state-of-the-art结果。
引用
@article{arxiv.2205.15781,
title = {Co-Training for Unsupervised Domain Adaptation of Semantic Segmentation Models},
author = {Jose L. Gómez and Gabriel Villalonga and Antonio M. López},
journal= {arXiv preprint arXiv:2205.15781},
year = {2023}
}
备注
Code available at https://github.com/JoseLGomez/Co-training_SemSeg_UDA. Paper accepted on Sensors at https://www.mdpi.com/1424-8220/23/2/621