DDFM：用于多模态图像融合的去噪扩散模型
计算机视觉与模式识别
2023-08-24 v2
摘要
多模态图像融合旨在结合不同模态以生成保留各模态互补特征（如功能高亮与纹理细节）的融合图像。为利用强大的生成先验并解决基于 GAN 的生成方法所面临的训练不稳定与缺乏可解释性等挑战，我们提出了一种基于去噪扩散概率模型（DDPM）的新颖融合算法。该融合任务被表述为 DDPM 采样框架下的条件生成问题，并进一步划分为一个无条件生成子问题与最大似然子问题。后者以带有潜变量的层次贝叶斯方式建模，并通过期望最大化（EM）算法推断。通过将推断解整合进扩散采样迭代，我们的方法能够利用自然图像生成先验与源图像的跨模态信息生成高质量的融合图像。需注意，我们所需的仅是一个无条件预训练生成模型，且无需微调。我们的大量实验表明，该方法在红外-可见光图像融合与医学图像融合中取得了令人满意的融合结果。代码见 \url{https://github.com/Zhaozixiang1228/MMIF-DDFM}。
引用
@article{arxiv.2303.06840,
title = {DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion},
author = {Zixiang Zhao and Haowen Bai and Yuanzhi Zhu and Jiangshe Zhang and Shuang Xu and Yulun Zhang and Kai Zhang and Deyu Meng and Radu Timofte and Luc Van Gool},
journal= {arXiv preprint arXiv:2303.06840},
year = {2023}
}
备注
Accepted by ICCV 2023 (Oral)