用于高光谱图像融合的物理启发式退化模型
图像与视频处理
2024-02-07 v1 计算机视觉与模式识别
摘要
低空间分辨率高光谱图像 (LR-HSI) 与高空间分辨率多光谱图像 (HR-MSI) 的融合引起了越来越多的研究兴趣。然而，大多数融合方法仅关注融合算法本身而忽略了退化模型，导致在实际场景中性能不佳。为了填补这一空白，我们提出了物理启发式退化模型 (PIDM) 来建模 LR-HSI 和 HR-MSI 的退化过程，该模型由空间退化网络 和光谱退化网络 组成。SpaDN 和 SpeDN 的设计基于两点洞察。首先，我们采用空间变换和光谱调制操作来模拟镜头像差，从而在空间和光谱退化过程中引入非均匀性。其次，我们利用非对称下采样和并行下采样操作分别降低图像的空间和光谱分辨率，从而确保空间和光谱退化过程与特定物理特性相匹配。在建立 SpaDN 和 SpeDN 之后，我们采用自监督训练策略来优化网络参数，并为融合方法提供即插即用的解决方案。综合实验表明，我们提出的 PIDM 能够提升现有融合方法在实际场景中的融合性能。
引用
@article{arxiv.2402.02411,
title = {Physics-Inspired Degradation Models for Hyperspectral Image Fusion},
author = {Jie Lian and Lizhi Wang and Lin Zhu and Renwei Dian and Zhiwei Xiong and Hua Huang},
journal= {arXiv preprint arXiv:2402.02411},
year = {2024}
}