LoFormer：用于图像去模糊的局部频率转换器
计算机视觉与模式识别
2024-07-25 v1
摘要
由于自注意力(self-attention, SA)的计算复杂度，图像去模糊的常见技术往往采用局部化注意力或采用粗糙全局注意力方法，这两种方法都存在牺牲全局建模或缺乏细粒度相关性的缺点。为了在不牺牲细粒度细节的前提下有效建模长程依赖，我们引入一种新方法，称为局部频率转换器(Local Frequency Transformer, LoFormer)。在LoFormer的每个单元中，我们在频域中引入局部通道注意力(Local Channel-wise SA, Freq-LC)，以同时捕获低频和高频局部窗口中的交叉协方差。这些操作具有以下优势：(1)确保粗糙结构和细粒度细节都有均等的学习机会，(2)相比粗糙全局注意力方法，探索更广泛的表示属性。此外，我们引入一种MLP门控机制，与Freq-LC互补，旨在过滤无关特征并增强全局学习能力。我们的实验表明，LoFormer在图像去模糊任务上显著提升性能，在GoPro数据集上实现34.09 dB的PSNR，计算复杂度为126G FLOPs。https://github.com/DeepMed-Lab-ECNU/Single-Image-Deblur
引用
@article{arxiv.2407.16993,
title = {LoFormer: Local Frequency Transformer for Image Deblurring},
author = {Xintian Mao and Jiansheng Wang and Xingran Xie and Qingli Li and Yan Wang},
journal= {arXiv preprint arXiv:2407.16993},
year = {2024}
}