DA2Diff：面向全天候图像恢复的退化感知自适应扩散先验探索
计算机视觉与模式识别
2025-04-08 v1
摘要
恶劣天气条件下的图像恢复是许多基于视觉的应用的关键任务。近期在统一模型内处理多种天气退化的全天候框架已展现出潜力。然而，不同天气条件下退化模式的多样性，以及真实世界退化的复杂多变性质，给多天气去除带来了重大挑战。为应对这些挑战，我们提出了一种具有退化感知自适应先验的创新扩散范式，用于全天候图像恢复，称为 DA2Diff。这是一种新的探索，应用 CLIP 来感知退化感知属性，以实现更好的多天气恢复。具体而言，我们部署了一组可学习提示，通过 CLIP 空间中的提示-图像相似性约束来捕获退化感知表示。通过将雪/雾/雨图像与雪/雾/雨提示对齐，每个提示对应不同的天气退化特征。然后，通过设计的特定天气提示引导模块将学习到的提示集成到扩散模型中，使其能够恢复多种天气类型。为了进一步提高对复杂天气退化的适应性，我们提出了一种动态专家选择调制器，该调制器采用动态天气感知路由器为每张天气失真图像灵活分配不同数量的恢复专家，使扩散模型能够自适应地恢复多种退化。实验结果证实了 DA2Diff 在定量和定性评估中优于 SOTA。源代码将在论文被接收后公开。
引用
@article{arxiv.2504.05135,
title = {DA2Diff: Exploring Degradation-aware Adaptive Diffusion Priors for All-in-One Weather Restoration},
author = {Jiamei Xiong and Xuefeng Yan and Yongzhen Wang and Wei Zhao and Xiao-Ping Zhang and Mingqiang Wei},
journal= {arXiv preprint arXiv:2504.05135},
year = {2025}
}