图像去模糊中频率选择的有趣发现
计算机视觉与模式识别
2022-11-30 v2
摘要
模糊天然地在频域中被分析,即给定模糊图像估计潜在清晰图像与模糊核。近期图像去模糊的进展总是设计端到端架构,并从像素级学习模糊与清晰图像对的差异,这不可避免地忽视了模糊核的重要性。本文揭示了一个有趣现象:仅对模糊图像频域施加ReLU操作随后进行逆傅里叶变换,即频率选择,可提供关于模糊模式(如模糊方向与模糊程度,隐式展现核模式)的可靠信息。基于该观察,我们尝试通过将傅里叶变换、ReLU操作与逆傅里叶变换插入标准ResBlock,为图像去模糊网络利用核级信息。进一步加入1x1卷积以让网络调制灵活的频率选择阈值。我们将新构建的块称为Res FFT-ReLU块,其通过学习频域-空间双域表征兼具核级与像素级特征优势。我们进行了大量实验以深入分析方法洞见。此外,将该块嵌入NAFNet后,我们在GoPro数据集上取得了33.85 dB的PSNR。我们的方法在不过多引入参数的同时明显改进骨干架构,且保持低计算复杂度。代码见https://github.com/DeepMed-Lab/DeepRFT-AAAI2023。
引用
@article{arxiv.2111.11745,
title = {Intriguing Findings of Frequency Selection for Image Deblurring},
author = {Xintian Mao and Yiming Liu and Fengze Liu and Qingli Li and Wei Shen and Yan Wang},
journal= {arXiv preprint arXiv:2111.11745},
year = {2022}
}
备注
AAAI 2023