基于单幅图像的深度联合雨检测与去除

在本文中，我们解决了从单幅图像中去除雨水的问题，即使在暴雨和雨纹累积的情况下也是如此。我们的核心思想在于新的雨图像模型和一种新颖的深度学习架构。我们首先修改了由雨纹层和背景层组成的现有模型，添加了一个用于定位雨纹区域的二值图。其次，我们创建了一个新模型，由一个表示雨纹累积（其中单条雨纹不可见，因此在视觉上类似于雾或霾）的组件和另一个表示暴雨中通常发生的重叠雨纹的各种形状和方向的组件组成。基于第一个模型，我们开发了一种多任务深度学习架构，用于学习二值雨纹图、雨纹外观以及干净背景，这是我们最终的输出。附加的二值图非常有益，因为其损失函数可以为网络提供额外的强信息。为了处理雨纹累积（同样，这是一种在视觉上类似于雾或霾的现象）以及重叠雨纹的各种形状和方向，我们提出了一种循环雨检测与去除网络，能够迭代且渐进地去除雨纹并清除雨水累积。在我们方法的每次循环中，开发了一种新的上下文膨胀网络，以利用区域上下文信息并输出更好的雨检测表示。在真实图像上的评估，特别是在暴雨图像上，展示了我们新颖模型和架构的有效性，显著优于 state-of-the-art 方法。我们的代码和数据集将公开提供。