通过自监督表示实现任意分辨率下的高光谱与多光谱图像融合
计算机视觉与模式识别
2024-11-26 v2 图像与视频处理
摘要
将低分辨率高光谱图像（LR-HSI）与高分辨率多光谱图像（HR-MSI）进行融合已成为实现高光谱图像超分辨率（SR）的有效技术。以往研究主要集中于估计潜在高分辨率高光谱图像（HR-HSI）的后验分布，利用合适的图像先验和从潜在 HSI 与观测图像之间的差异计算的似然函数。就各种先验而言，低秩性通过矩阵分解来保留潜在 HSI 的特征。然而，现有研究的主要局限在于融合模型的泛化性使用固定分辨率比例，一旦改变输出分辨率就需要重新训练。为克服这一限制，我们提出一种新型连续低秩分解（CLoRF），通过将两种神经表示集成到矩阵分解中，分别捕获空间和光谱信息。这种方法使我们能够在自监督方式下同时利用矩阵分解的低秩性和神经表示的连续性。理论上，我们在所提连续低秩分解中证明了低秩性和 Lipschitz 连续性。实验上，我们的方法显著优于现有技术，无需神经网络重新训练即可实现用户期望的分辨率。代码已公开 https://github.com/wangting1907/CLoRF-Fusion。
引用
@article{arxiv.2405.17818,
title = {Hyperspectral and multispectral image fusion with arbitrary resolution through self-supervised representations},
author = {Ting Wang and Zipei Yan and Jizhou Li and Xile Zhao and Chao Wang and Michael Ng},
journal= {arXiv preprint arXiv:2405.17818},
year = {2024}
}