FlexiD-Fuse：基于扩散模型的灵活输入数目多模态医学图像融合
计算机视觉与模式识别
2025-09-12 v1
摘要
不同模态的医学图像提供独特的生理和解剖信息，有助于疾病诊断。多模态医学图像融合将来自不同互补医学图像的有用信息整合在一起，产生综合且客观地反映病灶特征的融合图像，辅助医生进行临床诊断。然而，现有的融合方法只能处理固定数量的模态输入，如仅接受双模态或三模态输入，无法直接处理可变输入数量，这在临床应用中造成了限制。为解决这一问题，我们引入FlexiD-Fuse，这是一种设计用于容纳灵活输入模态数量的扩散基于图像融合网络。在相同权重下，FlexiD-Fuse能够端到端处理双模态和三模态医学图像融合。FlexiD-Fuse将仅支持固定条件输入的扩散融合问题转化为基于扩散过程和层次贝叶斯建模的最大似然估计问题。通过将期望最大化算法整合到扩散采样迭代过程中，FlexiD-Fuse能够生成来自源图像的具有跨模态信息的高质量融合图像，独立于输入图像的数量。我们将与最新双模态和三模态医学图像融合方法进行比较，在哈佛数据集上进行测试，并使用九个流行指标进行评估。实验结果表明，我们的方法在输入数量可变的医学图像融合任务中取得了最佳性能。同时，我们在红外-可见、多曝光和多焦点图像融合任务上进行了大量扩展实验，并与前沿SOTA方法进行了比较。扩展实验的结果始终证明了我们方法的有效性和优越性。
引用
@article{arxiv.2509.09456,
title = {FlexiD-Fuse: Flexible number of inputs multi-modal medical image fusion based on diffusion model},
author = {Yushen Xu and Xiaosong Li and Yuchun Wang and Xiaoqi Cheng and Huafeng Li and Haishu Tan},
journal= {arXiv preprint arXiv:2509.09456},
year = {2025}
}