频率集成变换器用于任意尺度超分辨率
机器学习
2025-04-29 v1
摘要
基于隐式神经表征的方法在任意尺度超分辨率（ASSR）任务中展现出卓越能力，但忽视了频率域潜在价值，导致性能次优。我们提出一种新型网络称为频率集成变换器（FIT），以利用频率信息提升 ASSR 性能。FIT 采用频率嵌入模块（FIM）以无损方式引入频率信息，并采用频率利用自注意力模块（FUSAM）通过利用空间-频率相互关系和频率的全局性质高效利用频率信息。FIM 通过将快速傅里叶变换（FFT）与实虚映射结合的方式引入频率信息来丰富细节表征。在 FUSAM 中，交互式隐式自注意力（IISA）通过在子空间中交互空间和频率信息实现跨域信息协同，而频率相关自注意力（FCSA）通过计算频率相关性捕获全局上下文。实验结果表明，FIT 在多个基准数据集上性能优于现有方法。视觉特征图证明了 FIM 在丰富细节表征方面的优势。频率误差图验证了 IISA 有效提升了频率保真度。局部归因图证明了 FCSA 有效捕获全局上下文。
引用
@article{arxiv.2504.18818,
title = {Frequency-Integrated Transformer for Arbitrary-Scale Super-Resolution},
author = {Xufei Wang and Fei Ge and Jinchen Zhu and Mingjian Zhang and Qi Wu and Jifeng Ren Shizhuang Weng},
journal= {arXiv preprint arXiv:2504.18818},
year = {2025}
}
备注
11pages,8figures