面向高效图像超分辨率的层次化 Transformer：HiT-SR

Transformer 在计算机视觉任务中展现出良好的性能，包括图像超分辨率（SR）。然而，流行的基于 Transformer 的 SR 方法通常采用窗口自注意力机制，其计算复杂度随窗口大小呈二次方，导致固定小窗口尺寸，引申场受限。本文提出一种通用策略，将基于 Transformer 的 SR 网络转换为层次化 Transformer（HiT-SR），在保持高效设计的同时提升 SR 性能。具体而言，我们首先用扩张的层次化窗口取代常用的固定小窗口，以聚合不同尺度的特征并建立长程依赖。鉴于大窗口计算密集，进一步设计一种与窗口尺寸线性相关的空间-通道关联方法，高效地从层次化窗口中收集空间和通道信息。大量实验验证了 HiT-SR 的有效性与高效性，我们改进版的 SwinIR-Light、SwinIR-NG 和 SRFormer-Light 在更少参数、更少 FLOPs 和更快速度（约 $\sim7\times$）下均实现了最新的 SR 结果。