WeatherDG：基于 LLM 的扩散模型用于领域泛化语义分割中的程序化天气生成
计算机视觉与模式识别
2024-12-31 v2 人工智能
摘要
本文提出了一种新方法，称为 WeatherDG，可在 Stable Diffusion (SD) 和大型语言模型 (LLM) 的协同作用下，生成真实、天气多样且具有驾驶场景特征的图像。具体而言，我们首先使用源数据对 SD 进行微调，使生成样本的内容和布局与真实世界的驾驶场景相匹配。然后，我们提出了一种基于 LLM 的程序化提示生成方法，该方法可丰富场景描述，帮助 SD 自动生成更具多样性和细节性的图像。此外，我们引入一种平衡的生成策略，鼓励 SD 在各种天气条件下生成尾部类别（如骑手和摩托车）的高质量对象。这种分段模型无关的方法可通过额外地使用生成的合成数据来提高现有模型的泛化能力。在三个具有挑战性的数据集上进行实验表明，我们的方法可显著提高不同最先进模型在目标域上的分割性能。值得注意的是，在“Cityscapes 转 ACDC”的设置下，我们的方法使基线 HRDA 的 mIoU 提升了 13.9%。
引用
@article{arxiv.2410.12075,
title = {WeatherDG: LLM-assisted Diffusion Model for Procedural Weather Generation in Domain-Generalized Semantic Segmentation},
author = {Chenghao Qian and Yuhu Guo and Yuhong Mo and Wenjing Li},
journal= {arXiv preprint arXiv:2410.12075},
year = {2024}
}