DM-FNet：基于扩散过程训练的无缝医学图像融合编码器-解码器
计算机视觉与模式识别
2025-06-19 v1
摘要
多模态医学图像融合（MMIF）从多个源图像中提取最有意义的信息，使诊断更全面和准确。实现高质量的融合结果需要仔细平衡亮度、颜色、对比度和细节；这确保了融合图像有效显示相关解剖结构，并反映组织功能状态。然而，现有的MMIF方法在常规训练期间捕获细节特征的能力有限，且跨模态特征交互不足，导致融合图像质量 suboptimal。为解决这些问题，本研究提出了基于两阶段扩散模型的融合网络（DM-FNet），实现统一的MMIF。在阶段I中，扩散过程训练UNet进行图像重建。UNet通过逐步去噪捕获细节信息，代表多层数据，为后续融合网络提供丰富的特征表示。在阶段II中，将不同步骤的噪声图像输入融合网络，以增强模型的特征识别能力。还集成了三个关键融合模块，用于适应性地处理来自不同模态的医学图像。最终集成了稳健的网络结构和混合损失函数，以调和融合图像的亮度、颜色、对比度和细节，增强其质量和信息密度。各种医学图像类型的实验结果表明，所提方法在客观评估指标方面表现出色。融合图像保留了适当的亮度、放射性示踪剂的全面分布、丰富的纹理和清晰的边缘。代码已公开于 https://github.com/HeDan-11/DM-FNet。
引用
@article{arxiv.2506.15218,
title = {DM-FNet: Unified multimodal medical image fusion via diffusion process-trained encoder-decoder},
author = {Dan He and Weisheng Li and Guofen Wang and Yuping Huang and Shiqiang Liu},
journal= {arXiv preprint arXiv:2506.15218},
year = {2025}
}
备注
This paper has been accepted by IEEE Transactions on Multimedia (TMM) in March 2025