基于高效条窗Transformer的图像超分辨率
计算机视觉与模式识别
2023-03-15 v2
摘要
Transformer在单图像超分辨率（SR）中取得了显著成果。然而，平衡模型性能与复杂度的挑战阻碍了它们在轻量级超分辨率（LSR）中的应用。为应对该挑战，我们提出一种高效条窗Transformer（ESWT）。我们重新审视Transformer中的归一化层，并设计了一种简洁高效的Transformer结构来构建ESWT。此外，我们引入条窗机制以更高效地建模长程依赖。为充分挖掘ESWT潜力，我们提出了一种新颖的灵活窗口训练策略，可在无额外成本下提升ESWT性能。大量实验表明，ESWT优于最先进的LSR Transformer，并在模型性能与复杂度间实现了更好的权衡。ESWT所需参数更少、推理更快、FLOPs更小且内存消耗更低，使其成为LSR的一种有前景的方案。
引用
@article{arxiv.2301.09869,
title = {Image Super-Resolution using Efficient Striped Window Transformer},
author = {Jinpeng Shi and Hui Li and Tianle Liu and Yulong Liu and Mingjian Zhang and Jinchen Zhu and Ling Zheng and Shizhuang Weng},
journal= {arXiv preprint arXiv:2301.09869},
year = {2023}
}
备注
SOTA lightweight super-resolution transformer. 8 pages, 9 figures and 6 tables. The Code is available at https://github.com/Fried-Rice-Lab/FriedRiceLab