通过适应实现泛化：面向领域泛化语义分割的基于扩散模型的领域扩展
计算机视觉与模式识别
2023-12-05 v1 机器学习
摘要
当模型（例如用于语义分割的模型）应用于与训练数据存在巨大差异的图像时，其性能会显著下降。领域适应方法试图克服这一问题，但需要来自目标领域的样本。然而，由于各种原因，这并不总是可行的，因此领域泛化方法因不需要任何目标数据而非常有用。我们提出了一种新的基于扩散模型的领域扩展（DIDEX）方法，并利用扩散模型通过多样化的文本提示生成伪目标领域。与现有方法相比，这允许控制生成图像的风格和内容，并引入高度多样性。在第二步中，我们通过向该伪目标领域适应来训练一个泛化模型。在不使用任何真实数据的情况下，我们在各种数据集和架构上的表现大幅优于以往方法。对于从 GTA5 的泛化，我们将最先进的 mIoU 性能平均绝对提高了 3.8%，对于 SYNTHIA 绝对提高了 11.8%，标志着这些基准测试上泛化性能的一大进步。代码可在 https://github.com/JNiemeijer/DIDEX 获取
引用
@article{arxiv.2312.01850,
title = {Generalization by Adaptation: Diffusion-Based Domain Extension for Domain-Generalized Semantic Segmentation},
author = {Joshua Niemeijer and Manuel Schwonberg and Jan-Aike Termöhlen and Nico M. Schmidt and Tim Fingscheidt},
journal= {arXiv preprint arXiv:2312.01850},
year = {2023}
}
备注
Accepted to WACV 2024