基于尺度感知多阶段循环网络的单图像去雨

给定一张单一输入雨图，我们的目标是从视觉上去除由雨条和雨滴的散射与透射所引起的雨条及蒙罩效应。我们尤其关注大雨情形，其中不同大小和方向的雨条相互重叠，且蒙罩效应严重降低对比度。为实现该目标，我们引入一种尺度感知的多阶段卷积神经网络。我们的主要思想是，不同尺寸的雨条以不同方式对场景造成视觉退化。近处的大雨条遮挡更大区域，且比远处小雨条更可能显著反射镜面高光。这些不同雨条的不同效应在其图像特征中具有各自特性，因而需要区别对待。为此，我们创建并行子网络，使其针对这些不同尺度的雨条进行训练并具备尺度感知能力。据我们所知，这种按独特子类处理同类对象的并行子网络思想是新奇的，尤其在去雨背景下。为验证我们的想法，我们在合成与真实图像上进行了实验，发现我们的方法有效且优于当前最优（SOTA）方法。