用于单图像超分辨率的高效可学习协同注意力
计算机视觉与模式识别
2024-04-09 v1 人工智能
摘要
非局部注意力（NLA）是深度单图像超分辨率（SR）中捕获长程特征相关性的强大技术。然而，NLA具有高计算复杂度和内存消耗，因为它需要为每个查询响应聚合所有非局部特征信息，并重新计算不同抽象级别特征的相似性权重分布。为了解决这些挑战，我们提出了一种新颖的可学习协同注意力（LCoA），将归纳偏置引入非局部建模。我们的LCoA由两个组件组成：可学习稀疏模式（LSP）和协同注意力（CoA）。LSP使用k-means聚类算法动态调整深度特征的稀疏注意力模式，与现有稀疏解决方案相比减少了非局部建模轮数。CoA利用LSP学习的稀疏注意力模式和权重，并跨不同抽象级别协同优化相似性矩阵，避免了冗余的相似性矩阵计算。实验结果表明，我们的LCoA在推理阶段可以将非局部建模时间减少约83%。此外，我们将LCoA集成到深度可学习协同注意力网络（LCoAN）中，与其他最先进的SR方法相比，在推理时间、内存消耗和重建质量方面取得了有竞争力的性能。
引用
@article{arxiv.2404.04922,
title = {Efficient Learnable Collaborative Attention for Single Image Super-Resolution},
author = {Yigang Zhao Chaowei Zheng and Jiannan Su and GuangyongChen and MinGan},
journal= {arXiv preprint arXiv:2404.04922},
year = {2024}
}