基于失真引导网络的空间自适应图像复原

我们提出了一种通用的基于学习的方案，用于复原遭受空间变化退化的图像。先前的方法通常是针对特定退化的，并对不同图像及图像内不同像素采用相同的处理。然而，我们假设这种空间刚性处理对于同时复原退化像素和重建图像的干净区域是次优的。为克服该局限，我们提出SPAIR，一种利用失真定位信息并动态调整计算至图像中困难区域的网络设计。SPAIR包含两个组件：（1）识别退化像素的定位网络；（2）在滤波和特征域中利用定位网络知识以选择性、自适应地复原退化像素的复原网络。我们的核心思想是利用重度退化在空间域中的非均匀性，并将此知识恰当地嵌入执行稀疏归一化、特征提取和注意力的失真引导模块中。我们的架构与物理形成模型无关，并可泛化至多种空间变化退化类型。我们分别在四项复原任务上展示了SPAIR的有效性——去除雨纹、雨滴、阴影和运动模糊。在11个基准数据集上与现有最优方法的广泛定性与定量比较表明，我们的退化不可知网络设计相比最先进的退化特定架构取得了显著性能提升。代码见 https://github.com/human-analysis/spatially-adaptive-image-restoration。