WeatherProof：利用语言引导实现恶劣天气下的语义分割
计算机视觉与模式识别
2024-05-09 v2 机器学习
摘要
我们提出了一种方法，用于从恶劣天气条件下捕获的图像中推断语义分割图。我们首先在受雨、雾或雪等天气条件影响的退化图像上检验现有模型，发现与晴朗天气下捕获的图像相比，这些模型表现出显著的性能下降。为了控制场景结构的变化，我们提出了 WeatherProof，这是首个具有精确清晰和恶劣天气图像对且共享同一底层场景的语义分割数据集。通过该数据集，我们分析了现有模型中的错误模式，发现它们对捕获期间图像上引起的不同天气效应的复杂组合非常敏感。为了提高鲁棒性，我们提出了一种将语言作为引导的方法，通过识别恶劣天气条件的影响并将其作为“边信息”注入。使用我们的语言引导训练的模型在 WeatherProof 上的 mIoU 提升高达 10.2%，在广泛使用的 ACDC 数据集上相比标准训练技术 mIoU 提升高达 8.44%，在 ACDC 数据集上相比以往的 SOTA 方法 mIoU 提升高达 6.21%。
引用
@article{arxiv.2403.14874,
title = {WeatherProof: Leveraging Language Guidance for Semantic Segmentation in Adverse Weather},
author = {Blake Gella and Howard Zhang and Rishi Upadhyay and Tiffany Chang and Nathan Wei and Matthew Waliman and Yunhao Ba and Celso de Melo and Alex Wong and Achuta Kadambi},
journal= {arXiv preprint arXiv:2403.14874},
year = {2024}
}
备注
arXiv admin note: substantial text overlap with arXiv:2312.09534