通过频率选择探索更丰富、更准确的信息用于图像恢复
计算机视觉与模式识别
2024-07-15 v1 图像与视频处理
摘要
图像恢复旨在从退化图像中恢复高质量图像。许多现有方法主要关注空间域，忽略了频率变化的理解，并忽视了跳跃连接中隐式噪声的影响。本文提出了一种多尺度频率选择网络（MSFSNet），该网络无缝集成了空间和频率域知识，选择性地恢复更丰富、更准确的信息。具体来说，我们首先捕获空间特征，并将其输入到不同尺度的动态滤波器选择模块（DFS）中以整合频率知识。DFS利用可学习滤波器生成高频和低频信息，并采用频率交叉注意力机制（FCAM）来确定要恢复的最具信息量的内容。为了学习一组多尺度且准确的混合特征，我们开发了一个跳跃特征融合模块（SFF），该模块利用上下文特征来判别性地确定哪些信息应在跳跃连接中传播。值得注意的是，我们的DFS和SFF是通用的即插即用模块，可直接应用于现有网络而无需任何调整，从而带来性能提升。在各种图像恢复任务上的大量实验表明，我们的MSFSNet达到了优于或可与最先进算法相媲美的性能。
引用
@article{arxiv.2407.08950,
title = {Exploring Richer and More Accurate Information via Frequency Selection for Image Restoration},
author = {Hu Gao and Depeng Dang},
journal= {arXiv preprint arXiv:2407.08950},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2403.20106