利用条件去噪扩散概率模型进行高光谱与多光谱图像融合
图像与视频处理
2023-07-10 v1 计算机视觉与模式识别
机器学习
摘要
高光谱图像（HSI）含有大量反映物质特性的光谱信息，但受成像技术限制其空间分辨率较低。与之互补的是多光谱图像（MSI），例如 RGB 图像，具有高空间分辨率但光谱波段不足。高光谱与多光谱图像融合是一种以高性价比获取兼具高空间与高光谱分辨率理想图像的技术。许多现有 HSI 与 MSI 融合算法依赖于已知的成像退化模型，而实践中往往无法获得此类模型。在本文中，我们提出一种基于条件去噪扩散概率模型的深度融合方法，称为 DDPM-Fus。具体而言，DDPM-Fus 包含前向扩散过程（逐步向高空间分辨率 HSI（HrHSI）添加高斯噪声）以及另一反向去噪过程（学习从含噪版本中预测所需 HrHSI，并以相应高空间分辨率 MSI（HrMSI）与低空间分辨率 HSI（LrHSI）为条件）。训练完成后，所提 DDPM-Fus 在测试 HrMSI 与 LrHSI 上执行反向过程以生成融合的 HrHSI。在一个室内与两个遥感数据集上的实验表明，与其他先进的基于深度学习的融合方法相比，所提模型具有优越性。本工作的代码将于此地址开源：https://github.com/shuaikaishi/DDPMFus 以保证可复现性。
引用
@article{arxiv.2307.03423,
title = {Hyperspectral and Multispectral Image Fusion Using the Conditional Denoising Diffusion Probabilistic Model},
author = {Shuaikai Shi and Lijun Zhang and Jie Chen},
journal= {arXiv preprint arXiv:2307.03423},
year = {2023}
}