探索 Transformer 中频率启发的优化以实现高效单图像超分辨率

基于 Transformer 的方法通过有效提取长程依赖，在单图像超分辨率（SISR）中展现出显著潜力。然而，当前该领域大多数研究优先设计 transformer 模块以捕获全局信息，却忽视了引入高频先验的重要性，我们认为这可能是有益的。在我们的研究中，我们进行了一系列实验，发现 transformer 结构更擅长捕获低频信息，但与卷积结构相比，在构建高频表示方面能力有限。我们提出的解决方案，即交叉细化自适应特征调制 transformer（CRAFT），融合了卷积与 transformer 结构的优势。它包含三个关键组件：用于提取高频信息的高频增强残差块（HFERB）、用于捕获全局信息的偏移矩形窗口注意力块（SRWAB），以及用于细化全局表示的混合融合块（HFB）。为解决 transformer 结构固有的复杂性，我们引入了一种频率引导的训练后量化（PTQ）方法，旨在提升 CRAFT 的效率。这些策略结合了自适应双截断与边界细化。为进一步增强我们所提方法的通用性，我们将 PTQ 策略扩展为基于 transformer 的 SISR 技术的通用量化方法。我们的实验结果表明，CRAFT 在 full-precision 和量化场景下均优于当前最先进（SOTA）的方法。这些结果凸显了我们 PTQ 策略的有效性与通用性。源代码见：https://github.com/AVC2-UESTC/Frequency-Inspired-Optimization-for-EfficientSR.git。