超越局部窗口限制:基于自适应标记字典的高级超分辨率Transformer
计算机视觉与模式识别
2024-01-19 v2
摘要
单图像超分辨率是一个经典的计算机视觉问题,涉及从低分辨率(LR)图像估计高分辨率(HR)图像。尽管深度神经网络(DNN),特别是用于超分辨率的Transformer,近年来取得了显著进展,但挑战依然存在,尤其是基于窗口的自注意力机制导致的有限感受野。为了解决这些问题,我们向SR Transformer引入了一组辅助的自适应标记字典,并建立了ATD-SR方法。引入的标记字典可以从训练数据中学习先验信息,并通过自适应细化步骤将学习到的先验适应于特定测试图像。细化策略不仅能为所有输入标记提供全局信息,还能将图像标记分组为类别。基于类别划分,我们进一步提出了一种基于类别的自注意力机制,旨在利用远距离但相似的标记来增强输入特征。实验结果表明,我们的方法在各种单图像超分辨率基准上取得了最佳性能。
引用
@article{arxiv.2401.08209,
title = {Transcending the Limit of Local Window: Advanced Super-Resolution Transformer with Adaptive Token Dictionary},
author = {Leheng Zhang and Yawei Li and Xingyu Zhou and Xiaorui Zhao and Shuhang Gu},
journal= {arXiv preprint arXiv:2401.08209},
year = {2024}
}
备注
15 pages, 9 figures