DLGSANet：用于图像超分辨率的轻量级动态局部与全局自注意力网络
计算机视觉与模式识别
2023-01-06 v1
摘要
我们提出了一种有效的轻量级动态局部与全局自注意力网络（DLGSANet）来解决图像超分辨率问题。我们的方法在探索 Transformer 特性的同时具有较低的计算成本。受 Transformer 网络设计的启发，我们开发了一个简单而高效的多头动态局部自注意力（MHDLSA）模块来高效地提取局部特征。此外，我们注意到现有的 Transformer 通常利用查询与键之间所有令牌的相似度进行特征聚合。然而，并非查询中的所有令牌都与键中的令牌相关，使用所有相似度并不能有效促进高分辨率图像重建。为克服该问题，我们开发了稀疏全局自注意力（SparseGSA）模块来选择最有用的相似度值，从而更好地利用最有用的全局特征进行高分辨率图像重建。我们开发了混合动态 Transformer 块（HDTB），将 MHDLSA 与 SparseGSA 集成以进行局部和全局特征探索。为简化网络训练，我们将 HDTBs 构建为残差混合动态 Transformer 组（RHDTG）。通过将 RHDTGs 嵌入端到端可训练网络中，我们表明所提方法具有更少的网络参数和更低的计算成本，同时在精度上取得了与最先进方法相竞争的性能。更多信息请见 https://neonleexiang.github.io/DLGSANet/
引用
@article{arxiv.2301.02031,
title = {DLGSANet: Lightweight Dynamic Local and Global Self-Attention Networks for Image Super-Resolution},
author = {Xiang Li and Jinshan Pan and Jinhui Tang and Jiangxin Dong},
journal= {arXiv preprint arXiv:2301.02031},
year = {2023}
}
备注
More information is available at https://neonleexiang.github.io/DLGSANet/