SemiDDM-Weather: 一种面向全场景恶劣天气去除的半监督学习框架
计算机视觉与模式识别
2024-10-01 v1
摘要
恶劣天气去除旨在恶劣天气条件下恢复清晰视觉。现有方法大多针对特定天气类型定制，并严重依赖大量标注数据。为应对这两个局限性，本文提出了一种开创性的半监督全场景恶劣天气去除框架，该框架基于教师-学生网络，并以去噪扩散模型（DDM）为骨干，称为SemiDDM-Weather。关于SemiDDM-Weather中DDM骨干的设计，我们采用了最先进的Wavelet Diffusion Model-Wavediff，并定制了输入和损失函数，致力于促进多对一映射分布的学习，以便在有限标注数据下实现高效的全场景恶劣天气去除。为了减轻半监督学习中教师网络生成的不准确伪标签可能误导模型训练的风险，我们引入了质量评估和内容一致性约束，从教师网络中筛选出“最优”输出作为伪标签，从而更有效地指导使用未标注数据的学生网络训练。实验结果表明，在合成和真实世界数据集上，即使与全监督的竞争对手相比，我们的SemiDDM-Weather也能持续提供高视觉质量和优越的恶劣天气去除效果。我们的代码和预训练模型可在此仓库获取。
引用
@article{arxiv.2409.19679,
title = {SemiDDM-Weather: A Semi-supervised Learning Framework for All-in-one Adverse Weather Removal},
author = {Fang Long and Wenkang Su and Zixuan Li and Lei Cai and Mingjie Li and Yuan-Gen Wang and Xiaochun Cao},
journal= {arXiv preprint arXiv:2409.19679},
year = {2024}
}