用于图像恢复的残差非局部注意力网络

在本文中，我们提出了一种用于高质量图像恢复的残差非局部注意力网络。由于未考虑受损图像中信息分布不均匀的问题，以往方法受限于局部卷积操作以及对空间和通道特征的同等地处理。为解决这一问题，我们设计了局部和非局部注意力块来提取特征，以捕捉像素间的长距离依赖关系并更加关注具有挑战性的部分。具体而言，我们在每个（非）局部注意力块中设计了主干分支和（非）局部掩码分支。主干分支用于提取层次化特征。局部和非局部掩码分支旨在通过混合注意力自适应地重新缩放这些层次化特征。局部掩码分支通过卷积操作更关注局部结构，而非局部注意力则更多关注整个特征图中的长距离依赖关系。此外，我们提出了残差局部和非局部注意力学习来训练极深网络，进一步增强了网络的表示能力。我们提出的方法可推广至各种图像恢复应用，如图像去噪、去马赛克、压缩伪影减少和超分辨率。实验表明，无论在定量还是视觉上，我们的方法与近期领先方法相比均取得了相当或更好的结果。