用于单图像去雨的渐进网络

大多数单图像去雨的进展都面临一个关键挑战，即去除具有不同尺度和形状的雨纹的同时保留图像细节。现有的单图像去雨方法将雨纹去除视为直接的逐像素回归过程。然而，它们缺乏在过度去雨（例如去除无雨区域的纹理细节）与去雨不足（例如残留雨纹）之间挖掘平衡。在本文中，我们首次提出一种称为渐进网络（GraNet）的由粗到细网络，包含粗阶段与细阶段，以不同粒度深入探究单图像去雨。具体而言，为揭示粗粒度雨纹特征（例如长而粗的雨纹/雨滴），我们通过由区域感知块组成的局部-全局子网络利用局部-全局空间依赖关系提出粗阶段。将雨图样本（即输入数据）与粗阶段输出（即所学得的雨掩码）之间的残差结果（粗去雨结果）作为输入，细阶段通过具有密集块与合并块的统一上下文合并子网络继续去雨，去除细粒度雨纹（例如小雨纹与水雾），从而得到无雨且重建良好的输出图像。在合成与真实数据上的扎实且全面的实验表明，我们的 GraNet 在去除具有各种密度、尺度和形状的雨纹的同时保持无雨区域图像细节完好的情况下，可显著优于最先进的方法。