基于深层 Tucker 分解网络与空间-光谱流形学习的无监督 hyperspectral 与多光谱图像盲融合
计算机视觉与模式识别
2024-09-20 v2 图像与视频处理
摘要
hyperspectral 与 multispectral 图像融合旨在通过融合高分辨率多光谱图像 (HR-MSI) 和低分辨率 hyperspectral 图像 (LR-HSI) 来生成高光谱与高空间分辨率的 hyperspectral 图像 (HR-HSI)。然而，现有融合方法面临未知退化参数、高维结构与深层图像特征关联性不完全利用等挑战。为克服这些问题，本文提出一种基于 Tucker 分解和空间光谱流形学习的无监督盲融合方法。我们设计了新颖的深层 Tucker 分解网络，将 LR-HSI 和 HR-MSI 映射到一致的特征空间，通过共享参数的解码器实现重构。为更好地利用和融合数据中的空间-光谱特征，我们设计了核心张量融合网络，包含空间光谱注意力机制，用于在不同尺度上对齐和融合特征。此外，为增强捕获全局信息的能力，引入了基于拉普拉斯算子的数据驱动空间-光谱流形约束于共享解码器中。充分的实验表明，该方法在不同遥感数据集上提高了 hyperspectral 与 multispectral 融合的准确性和效率。源代码已公开于 https://github.com/Shawn-H-Wang/DTDNML。
引用
@article{arxiv.2409.09670,
title = {Unsupervised Hyperspectral and Multispectral Image Blind Fusion Based on Deep Tucker Decomposition Network with Spatial-Spectral Manifold Learning},
author = {He Wang and Yang Xu and Zebin Wu and Zhihui Wei},
journal= {arXiv preprint arXiv:2409.09670},
year = {2024}
}
备注
Accepted by TNNLS 2024 Some errors has been corrected