MMIF-AMIN：面向多模态医学图像融合的自适应损失驱动多尺度可逆密集网络
计算机视觉与模式识别
2025-12-02 v2 人工智能
摘要
多模态医学图像融合（MMIF）旨在整合来自不同模态的图像，生成一幅综合图像，通过精确描绘器官结构、组织纹理和代谢信息来辅助医学诊断。同时捕获多种模态间的独特与互补信息是MMIF中的一个关键研究挑战。为应对这一挑战，本文提出了一种新颖的图像融合方法MMIF-AMIN，其特点在于采用了一种能够有效提取这些独特与互补特征的新型架构。具体而言，采用可逆密集网络（IDN）对单个模态进行无损特征提取。为提取模态间的互补信息，设计了一个多尺度互补特征提取模块（MCFEM），该模块融合了混合注意力机制、不同尺寸的卷积层和Transformer。引入自适应损失函数来指导模型学习，解决了传统人工设计损失函数的局限性，并增强了数据挖掘的深度。大量实验表明，MMIF-AMIN在定量和定性分析中均优于九种最先进的MMIF方法，取得了更优的结果。消融实验证实了所提方法每个组件的有效性。此外，将MMIF-AMIN扩展到其他图像融合任务也取得了有前景的性能。
引用
@article{arxiv.2508.08679,
title = {MMIF-AMIN: Adaptive Loss-Driven Multi-Scale Invertible Dense Network for Multimodal Medical Image Fusion},
author = {Tao Luo and Weihua Xu},
journal= {arXiv preprint arXiv:2508.08679},
year = {2025}
}
备注
This manuscript is withdrawn to allow for substantial expansion and restructuring. Based on recent research progress, we plan to add Generalization experiment and reorganize the manuscript structure to improve readability and logical flow. Thank you for your understanding and support