面向任意尺寸超分辨率的频率集成 Transformer
人机交互
2025-04-29 v1
摘要
基于隐式神经表征的方法在任意尺寸超分辨率（ASSR）任务中展现出卓越的能力，但忽视了频率域潜在价值，导致性能次优。我们提出一种新型网络，称为Frequency-Integrated Transformer（FIT），以纳入和利用频率信息以提升ASSR性能。FIT采用Frequency Incorporation Module（FIM）以无损方式引入频率信息，并采用Frequency Utilization Self-Attention模块（FUSAM）通过利用空间-频率相互关系和频率的全局性质高效利用频率信息。FIM通过将快速傅里叶变换（FFT）与实虚映射相结合的方式，引入频率信息来丰富细节表征。FUSAM中，Interaction Implicit Self-Attention（IISA）通过在子空间中交互空间和频率信息实现跨域信息协同，而Frequency Correlation Self-attention（FCSA）通过计算频率相关性来捕获全局上下文。实验结果表明，FIT在多个基准数据集上 outperform现有方法。视觉特征图证明了FIM在丰富细节表征方面的优势。频率误差图验证了IISA在提高频率保真度方面的积极作用。局部归因图验证了FCSA有效捕获全局上下文。
引用
@article{arxiv.2504.18817,
title = {Understanding Decentralized Social Feed Curation on Mastodon},
author = {Yuhan Liu and Emmy Song and Owen Xingjian Zhang and Jewel Merriman and Lei Zhang and Andrés Monroy-Hernández},
journal= {arXiv preprint arXiv:2504.18817},
year = {2025}
}
备注
Accepted at CSCW 2025