面向真实场景去雾的频率补偿扩散模型

由于分布偏移，基于深度学习的图像去雾方法在应用于真实世界有雾图像时会出现性能退化。本文考虑一种基于条件扩散模型的去雾框架，以改善对真实雾的泛化能力。首先，我们发现优化扩散模型的训练目标（即高斯噪声向量）并非易事。深度网络的谱偏置阻碍了高斯向量中较高频率模态的学习，从而损害了图像细节的重建。为解决此问题，我们设计了一个名为频率补偿块（FCB）的网络单元，其带有一组滤波器，共同强调输入信号的中高频。我们证明，带有 FCB 的扩散模型在感知指标和失真指标上均取得显著提升。其次，为进一步提升泛化性能，我们提出了一种新颖的数据合成流程 HazeAug，从程度和多样性两方面增强雾。在该框架内，我们建立了一个盲去雾的坚实基线，模型在合成有雾-清晰图像对上训练，并直接泛化到真实数据。大量评估表明，所提出的去雾扩散模型在真实世界图像上显著优于最先进的方法。我们的代码位于 https://github.com/W-Jilly/frequency-compensated-diffusion-model-pytorch。