WeatherProof：一种面向恶劣天气下语义分割的配对数据集方法
计算机视觉与模式识别
2023-12-18 v1
摘要
大型基础模型引入计算机视觉领域后，语义分割任务的性能得到了极大提升。然而，现有方法在测试受雨、雾或雪等天气条件退化的图像时，性能会出现大幅下降。我们引入了一种通用的配对训练方法，可应用于当前所有基础模型架构，从而提升在恶劣天气条件图像上的性能。为此，我们创建了 WeatherProof 数据集，这是首个包含精确晴天与恶劣天气图像对的语义分割数据集，这不仅实现了我们的新训练范式，还改善了晴天与退化分割之间性能差距的评估。我们发现，在这些共享同一底层场景的晴天与恶劣天气配对帧上进行训练，可以提升在恶劣天气数据上的性能。基于此，我们提出了一种训练流水线，利用一致性损失和语言指导来凸显配对数据训练的优势，与标准训练流程相比，性能提升达 18.4%。
引用
@article{arxiv.2312.09534,
title = {WeatherProof: A Paired-Dataset Approach to Semantic Segmentation in Adverse Weather},
author = {Blake Gella and Howard Zhang and Rishi Upadhyay and Tiffany Chang and Matthew Waliman and Yunhao Ba and Alex Wong and Achuta Kadambi},
journal= {arXiv preprint arXiv:2312.09534},
year = {2023}
}