探索大规模预训练模型在恶劣天气去除中的应用
计算机视觉与模式识别
2023-06-16 v1
摘要
恶劣天气条件（如雨、雪和雾）下的图像复原是一个基础的计算机视觉问题，并对各种下游应用具有重要指示意义。与早期专为特定天气类型设计的方法不同，近期工作倾向于通过空间特征表示学习或语义信息嵌入同时去除多种恶劣天气影响。受大规模预训练模型（如 CLIP）各种成功应用的启发，本文从空间特征表示学习和语义信息嵌入两个方面探索其对这一任务的潜在益处：1）在空间特征表示学习方面，我们设计了空间自适应残差（SAR）编码器以自适应地提取退化区域。为促进其训练，我们提出软残差蒸馏（CLIP-SRD）策略，将 CLIP 在干净图像与恶劣天气图像之间的空间知识进行迁移；2）在语义信息嵌入方面，我们提出 CLIP 天气先验（CWP）嵌入模块，使网络自适应地处理不同天气条件。该模块将通过 CLIP 图像编码器提取的样本特定天气先验与一组参数学习到的分布特定信息相融合，并通过交叉注意力机制进行嵌入。大量实验表明，我们所提方法在不同且具有挑战性的恶劣天气条件下均能取得最先进的性能。代码将公开。
引用
@article{arxiv.2306.09008,
title = {Exploring the Application of Large-scale Pre-trained Models on Adverse Weather Removal},
author = {Zhentao Tan and Yue Wu and Qiankun Liu and Qi Chu and Le Lu and Jieping Ye and Nenghai Yu},
journal= {arXiv preprint arXiv:2306.09008},
year = {2023}
}