面向单幅图像去雨的潜降解表示约束

由于雨纹呈现多种形状与方向，学习降解表示对单幅图像去雨而言极具挑战。现有方法主要致力于设计复杂模块，从耦合的雨天图像中隐式学习潜降解表示。这种方式由于缺乏显式约束，难以解耦内容无关的降解表示，导致过增强或欠增强问题。为应对此问题，我们提出一种新颖的潜降解表示约束网络（LDRCNet），其由方向感知编码器（DAEncoder）、UNet 去雨网络与多尺度交互块（MSIBlock）组成。具体而言，提出 DAEncoder 利用可变形卷积挖掘雨纹的方向一致性，自适应提取潜降解表示。接着，引入约束损失以在训练期间显式约束降解表示学习。最后，我们提出 MSIBlock 与所学降解表示及去雨网络的解码器特征融合，实现自适应信息交互，使去雨网络能去除多种复杂雨纹模式并重建图像细节。在合成与真实数据集上的实验结果表明，我们的方法取得了新的 SOTA 性能。