基于谱结构扩散的单图像雨 removal 方法

雨斑表现为具有方向性和频率浓缩结构，且在多个尺度上重叠，这使得单图像雨 removal 尤其具有挑战性。虽然基于扩散的恢复模型为渐进式去噪提供了强大的框架，但标准的空间域扩散未能显式地考虑此类结构化谱特征。我们提出 SpectralDiff，一种针对单图像雨 removal 的谱结构扩散框架。我们的方法并未重新定义扩散公式，而是引入结构化谱扰动，以引导多方向雨成分的渐进抑制。为支持此设计，我们进一步提出了一种基于卷积定理的全产品 U-Net 架构，将卷积运算替换为元素级乘积层，提高了计算效率，同时保持了建模能力。大量在合成数据和真实世界基准上的实验表明，SpectralDiff 在现有扩散方法中实现了具备竞争力的雨 removal 性能，同时具有更紧凑的模型结构和更优的推理效率。