Restormer：面向高分辨率图像复原的高效 Transformer
计算机视觉与模式识别
2022-03-14 v2
摘要
由于卷积神经网络（CNN）能够从大规模数据中学习可泛化的图像先验，这些模型已被广泛应用于图像复原及相关任务。近来，另一类神经架构 Transformer 在自然语言和高层视觉任务上展现出显著的性能提升。尽管 Transformer 模型缓解了 CNN 的不足（即有限感受野和对输入内容的不适应性），但其计算复杂度随空间分辨率呈二次增长，因此难以应用于大多数涉及高分辨率图像的图像复原任务。在本工作中，我们通过在构建模块（多头注意力和前馈网络）中做出若干关键设计，提出一种高效的 Transformer 模型，使其既能捕捉长距离像素交互，又仍适用于大尺寸图像。我们的模型名为 Restoration Transformer（Restormer），在多项图像复原任务上取得了最先进结果，包括图像去雨、单图像运动去模糊、散焦去模糊（单图像与双像素数据）以及图像去噪（高斯灰度/彩色去噪和真实图像去噪）。源代码与预训练模型可在 https://github.com/swz30/Restormer 获取。
引用
@article{arxiv.2111.09881,
title = {Restormer: Efficient Transformer for High-Resolution Image Restoration},
author = {Syed Waqas Zamir and Aditya Arora and Salman Khan and Munawar Hayat and Fahad Shahbaz Khan and Ming-Hsuan Yang},
journal= {arXiv preprint arXiv:2111.09881},
year = {2022}
}
备注
Accepted at CVPR 2022. #CVPR2022