ESSAformer：用于高光谱图像超分辨率的高效 Transformer
计算机视觉与模式识别
2023-07-27 v1 人工智能
摘要
单幅高光谱图像超分辨率（single-HSI-SR）旨在从低分辨率观测中恢复高分辨率高光谱图像。然而，主流的基于 CNN 的方法在建立长程依赖和捕获光谱特征间交互信息方面表现出局限性，导致光谱信息利用不足以及上采样后的伪影。为解决此问题，我们提出 ESSAformer，一种嵌入 ESSA 注意力、具有迭代细化结构的 Transformer 网络，用于单幅高光谱图像超分辨率。具体而言，我们首先引入一种鲁棒且光谱友好的相似性度量，即光谱相关系数（SCC），以替代原始注意力矩阵，并将归纳偏置融入模型以促进训练。在此基础上，我们进一步利用具有理论支撑的可核化注意力技术，形成新颖的基于 SCC 核的高效自注意力（ESSA），将注意力计算复杂度降至线性。ESSA 在上采样后扩大特征的感受野而不带来过多计算，并使模型能有效利用来自不同尺度的空间-光谱信息，从而生成更自然的高分辨率图像。无需在大规模数据集上预训练，我们的实验证明了 ESSA 在视觉质量与定量结果上的有效性。
引用
@article{arxiv.2307.14010,
title = {ESSAformer: Efficient Transformer for Hyperspectral Image Super-resolution},
author = {Mingjin Zhang and Chi Zhang and Qiming Zhang and Jie Guo and Xinbo Gao and Jing Zhang},
journal= {arXiv preprint arXiv:2307.14010},
year = {2023}
}
备注
16 pages, 18 figures