基于小波池化边缘保持自编码器的多模态医学神经图像融合

医学图像融合整合源图像模态的互补诊断信息，以改进对潜在异常的 Visualization 和分析。近来，基于深度学习的模型通过同时执行特征提取、特征选择和特征融合任务，超越了传统融合方法。然而，大多数现有的卷积神经网络（CNN）架构使用常规池化或步幅卷积策略对特征图下采样。这导致源图像中重要的诊断信息和边缘细节模糊或丢失，并削弱了特征提取过程的效果。因此，本文提出了一种基于边缘保持密集自编码器网络的多模态医学图像端到端无监督融合模型。在所提模型中，通过使用基于小波分解的注意力池化特征图来改进特征提取。这有助于保留两幅源图像中存在的精细边缘细节信息，并增强融合图像的视觉感知。此外，所提模型在多种医学图像对上训练，有助于捕获源图像的强度分布并有效保留诊断信息。大量实验表明，与其他最先进（SOTA）融合方法相比，所提方法提供了改进的视觉和定量结果。