Uformer：一种用于图像复原的通用U形Transformer
计算机视觉与模式识别
2021-11-29 v2
摘要
本文提出Uformer，一种基于Transformer的、高效且有效的图像复原架构，其中我们使用Transformer块构建了分层编码器-解码器网络。Uformer中有两个核心设计。首先，我们引入一种新颖的局部增强窗口（LeWin）Transformer块，它执行基于非重叠窗口的自注意力而非全局自注意力。这显著降低了高分辨率特征图上的计算复杂度，同时捕获局部上下文。其次，我们提出一种以多尺度空间偏置形式的可学习多尺度复原调制器，用于调整Uformer解码器多层中的特征。我们的调制器展现出为各种图像复原任务恢复细节的优越能力，同时仅引入极少的额外参数和计算开销。借助这两个设计，Uformer具有捕获图像复原中局部和全局依赖关系的高能力。为评估我们的方法，我们在多个图像复原任务上进行了大量实验，包括图像去噪、运动去模糊、散焦去模糊和去雨。无需额外技巧，我们的Uformer相比最先进（SOTA）算法取得了更优或相当的性能。代码和模型可在 https://github.com/ZhendongWang6/Uformer 获取。
引用
@article{arxiv.2106.03106,
title = {Uformer: A General U-Shaped Transformer for Image Restoration},
author = {Zhendong Wang and Xiaodong Cun and Jianmin Bao and Wengang Zhou and Jianzhuang Liu and Houqiang Li},
journal= {arXiv preprint arXiv:2106.03106},
year = {2021}
}
备注
17 pages, 13 figures