学习用于高光谱图像超分辨率的 3D-CNN 与 Transformer 先验
图像与视频处理
2021-11-30 v1 计算机视觉与模式识别
摘要
为解决高光谱图像超分辨率（HSISR）的病态问题，通常的方法是使用高光谱图像（HSIs）的先验信息作为正则项来约束目标函数。基于模型的手动设计先验的方法无法充分刻画 HSIs 的特性。基于学习的方法通常使用卷积神经网络（CNN）来学习 HSIs 的隐式先验。然而，CNN 的学习能力有限，其仅考虑 HSIs 的空间特性而忽略光谱特性，且卷积对于长程依赖建模并不有效。仍有很大改进空间。本文中，我们提出一种新颖的 HSISR 方法，使用 Transformer 替代 CNN 来学习 HSIs 的先验。具体而言，我们首先使用近端梯度算法求解 HSISR 模型，然后使用展开网络模拟迭代求解过程。Transformer 的自注意力层使其具备空间全局交互能力。此外，我们在 Transformer 层后加入 3D-CNN 以更好地挖掘 HSIs 的空-谱相关性。在两个广泛使用的高光谱数据集及真实世界数据集上的定量与可视化结果均表明，所提方法相较于所有主流算法（包括最具竞争力的传统方法与近期提出的基于深度学习的方法）取得了可观的提升。
引用
@article{arxiv.2111.13923,
title = {Learning A 3D-CNN and Transformer Prior for Hyperspectral Image Super-Resolution},
author = {Qing Ma and Junjun Jiang and Xianming Liu and Jiayi Ma},
journal= {arXiv preprint arXiv:2111.13923},
year = {2021}
}
备注
10 pages, 5 figures