用于图像复原的金字塔注意力网络
计算机视觉与模式识别
2020-06-05 v4 机器学习
图像与视频处理
机器学习
摘要
自相似性是指在图像复原算法中广泛使用的图像先验，即小而相似的图案往往出现在不同位置和尺度上。然而，近期基于深度卷积神经网络的先进图像复原方法依赖仅在同一尺度上处理信息的自注意力模块，未能充分利用自相似性。为解决该问题，我们提出一种新颖的用于图像复原的金字塔注意力模块，该模块从多尺度特征金字塔中捕获长距离特征对应关系。受噪声或压缩伪影等退化在较粗图像尺度上急剧减少这一事实的启发，我们的注意力模块被设计为能够从较粗层级上其“干净”对应物中借用干净信号。所提出的金字塔注意力模块是一个通用构建块，可灵活集成到各种神经架构中。其有效性通过在多个图像复原任务上的大量实验得到验证：图像去噪、去马赛克、压缩伪影去除和超分辨率。无需任何额外技巧，我们的 PANet（带有简单网络主干的金字塔注意力模块）即可产生具有优越精度和视觉质量的 SOTA 结果。我们的代码将发布于 https://github.com/SHI-Labs/Pyramid-Attention-Networks
引用
@article{arxiv.2004.13824,
title = {Pyramid Attention Networks for Image Restoration},
author = {Yiqun Mei and Yuchen Fan and Yulun Zhang and Jiahui Yu and Yuqian Zhou and Ding Liu and Yun Fu and Thomas S. Huang and Humphrey Shi},
journal= {arXiv preprint arXiv:2004.13824},
year = {2020}
}