PNEN：金字塔非局部增强网络

现有针对低层图像处理任务提出的神经网络通常通过堆叠核尺寸有限的卷积层来实现。每个卷积层仅涉及来自小局部邻域的上下文信息。随着采用更多卷积层，可以挖掘更多上下文特征。然而，充分利用长程依赖是困难且代价高昂的。我们提出一种新颖的非局部模块——金字塔非局部块（Pyramid Non-local Block），以建立每个像素与所有其余像素之间的连接。所提模块能够高效利用不同尺度的低层结构之间的成对依赖关系。该目标通过首先学习具有全分辨率的查询特征图以及具有降分辨率的下采样参考特征图金字塔来实现。随后利用多尺度参考特征的相关性来增强像素级特征表示。就内存消耗和计算成本而言，该计算过程是经济的。基于所提模块，我们设计了用于保边图像平滑的金字塔非局部增强网络（Pyramid Non-local Enhanced Networks），其在模仿三种经典图像平滑算法方面达到了最先进的性能。此外，金字塔非局部块可直接嵌入卷积神经网络以用于其他图像复原任务。我们将其集成到两种现有方法中用于图像去噪和单图像超分辨率，取得了持续改善的性能。