U2-Former：一种用于图像复原的嵌套U形Transformer
计算机视觉与模式识别
2021-12-09 v2
摘要
尽管Transformer在各种高层视觉任务中取得了显著性能，但在图像复原中充分挖掘其潜力仍具挑战。其关键在于，在典型的用于图像复原的编码器-解码器框架中应用Transformer的深度有限，这源于自注意力计算负担沉重以及不同深度（尺度）层间通信效率低下。本文提出一种基于Transformer的深度且高效网络用于图像复原，称为U2-Former，它能够以Transformer为核心操作在深度编码与解码空间中执行图像复原。具体而言，它利用嵌套U形结构促进具有不同尺度特征图的不同层之间的交互。此外，我们通过引入特征过滤机制来压缩token表示，从而优化基础Transformer块的计算效率。除典型的图像复原监督方式外，我们的U2-Former还在多个方面执行对比学习，以进一步将噪声分量从背景图像中解耦。在包括反射去除、雨纹去除和去雾在内的多种图像复原任务上的大量实验证明了所提U2-Former的有效性。
引用
@article{arxiv.2112.02279,
title = {U2-Former: A Nested U-shaped Transformer for Image Restoration},
author = {Haobo Ji and Xin Feng and Wenjie Pei and Jinxing Li and Guangming Lu},
journal= {arXiv preprint arXiv:2112.02279},
year = {2021}
}