耦合解混网络中的交叉注意力用于无监督高光谱超分辨率
图像与视频处理
2020-08-04 v3 计算机视觉与模式识别
摘要
深度学习技术的近期进展在高光谱图像超分辨率(HSI-SR)上取得了巨大进步。然而,无监督深度网络在该任务上的发展仍然具有挑战性。为此,我们提出了一种带有交叉注意力机制的新型耦合解混网络,简称 CUCaNet,以借助更高空间分辨率的多光谱图像(MSI)来提升 HSI 的空间分辨率。受耦合光谱解混启发,采用双流卷积自编码器框架作为主干,将 MS 与 HS 数据联合分解为具有光谱意义的基及其对应系数。CUCaNet 能够通过在网络上施加合理的的一致性假设,从 HS-MS 对应关系中自适应地学习光谱与空间响应函数。此外,设计了一个交叉注意力模块,以在网络中实现更有效的空间-光谱信息传输。在三个广泛使用 HS-MS 数据集上与最先进的 HSI-SR 模型进行了大量对比实验,证明了 CUCaNet 在 HSI-SR 应用中的优越性。此外,代码与数据集将发布于:https://github.com/danfenghong/ECCV2020_CUCaNet。
引用
@article{arxiv.2007.05230,
title = {Cross-Attention in Coupled Unmixing Nets for Unsupervised Hyperspectral Super-Resolution},
author = {Jing Yao and Danfeng Hong and Jocelyn Chanussot and Deyu Meng and Xiaoxiang Zhu and Zongben Xu},
journal= {arXiv preprint arXiv:2007.05230},
year = {2020}
}