ControlUDA：用于跨天气语义分割的可控扩散辅助无监督域适应
计算机视觉与模式识别
2024-02-12 v1
摘要
数据生成被认为是用于恶劣天气下语义分割的无监督域适应的有效策略。然而，这些恶劣天气场景包含多种可能性，且在以往的无监督域适应工作中，具有可控天气的高保真数据合成研究不足。近期大规模文本到图像扩散模型的进展为研究开辟了新途径，使得能够生成以语义标签为条件的逼真图像。由于源域和目标域共享标签空间，这种能力对于从源域到目标域的跨域数据合成至关重要。因此，源域标签可以与生成的伪目标数据配对，用于训练 UDA。然而，从 UDA 的角度来看，DM 训练存在几个挑战： 缺少来自目标域的真实标签； 提示生成器可能会对恶劣天气下的图像产生模糊或含噪的描述； 现有方法在仅以语义标签为条件时，往往难以很好地处理城市场景的复杂场景结构与几何信息。为了解决上述问题，我们提出了 ControlUDA，这是一个为恶劣天气条件下的 UDA 分割量身定制的扩散辅助框架。它首先利用预训练分割器中的目标先验来微调 DM，以补偿缺失的目标域标签；它还包含 UDAControlNet，这是一个针对恶劣天气下高保真数据生成的条件融合多尺度与提示增强网络。使用我们生成的数据训练 UDA，使模型在流行的恶劣天气 Cityscapes-to-ACDC 基准上的性能达到了新的里程碑（72.0 mIoU）。此外，ControlUDA 有助于在未见数据上实现良好的模型泛化能力。
引用
@article{arxiv.2402.06446,
title = {ControlUDA: Controllable Diffusion-assisted Unsupervised Domain Adaptation for Cross-Weather Semantic Segmentation},
author = {Fengyi Shen and Li Zhou and Kagan Kucukaytekin and Ziyuan Liu and He Wang and Alois Knoll},
journal= {arXiv preprint arXiv:2402.06446},
year = {2024}
}