展开一次即足够：一种面向部署的单图像超分辨率 Transformer 单元

近年来出现了一些将视觉 transformer 用于单图像超分辨率(SISR)的尝试。由于 SISR 模型中中间特征的高分辨率增加了内存与计算需求，高效 SISR transformer 更受青睐。基于一些流行的 transformer 骨干，许多方法探索了合理方案以降低自注意力模块的计算复杂度，同时取得令人印象深刻的性能。然而，这些方法仅关注训练平台（如 Pytorch/Tensorflow）上的性能，而未针对部署平台（如 TensorRT）进一步优化。因此，它们不可避免地包含一些冗余算子，给后续在真实应用中的部署带来挑战。本文提出一种部署友好的 transformer 单元，即 UFONE（亦即 UnFolding ONce is Enough），以缓解这些问题。在每个 UFONE 中，我们引入内部块 transformer 层(ITL)以高效从块中重建局部结构信息，以及空间感知层(SAL)以利用块间的长程依赖。基于 UFONE，我们提出一种用于 SISR 任务的部署友好内部块 transformer 网络(DITN)，其可在训练与部署平台上以低延迟与内存占用实现良好性能。此外，为进一步提升所提 DITN 在 TensorRT 上的部署效率，我们还提供了层归一化的高效替代方案，并提出了针对特定算子的融合优化策略。大量实验表明，我们的模型在取得具有竞争力的定性与定量性能的同时具备高部署效率。代码见 \url{https://github.com/yongliuy/DITN}。