用于单幅图像去雨的非局部增强编解码网络

由于深度卷积神经网络的发展，单幅图像雨纹去除近期取得了实质性进展。然而，现有的基于深度学习的方法要么聚焦于网络的入口与出口，将输入图像分解为高频与低频信息并采用残差学习以缩减映射范围，要么聚焦于引入级联学习方案以将雨纹去除任务分解为多阶段。这些方法将卷积神经网络视为封装的端到端映射模块，而未深入探究神经网络设计的合理性与优越性。本文中，我们探究一种有效的端到端神经网络结构，以实现更强的特征表达与空间相关性学习。具体而言，我们提出一种非局部增强编解码网络框架，其由嵌入池化索引的编解码网络组成，可高效学习愈发抽象的特征表示以更精确地建模雨纹，同时完美保留图像细节。所提出的编解码框架由一系列非局部增强密集块构成，这些块不仅旨在充分挖掘来自所有卷积层的分层特征，还旨在良好捕获长距离依赖与结构信息。在合成与真实数据集上的大量实验表明，所提方法能有效去除不同密度雨图上的雨纹，同时良好保留图像细节，相较近期最先进（SOTA）方法取得了显著改进。