用于多模态医学图像融合的边缘增强膨胀残差注意力网络

多模态医学图像融合是一项关键任务，它将来自不同成像模态的互补信息结合成统一的表示，从而提高诊断准确性和治疗规划。尽管深度学习方法，特别是卷积神经网络（CNN）和 Transformer，显著提升了融合性能，但现有的一些基于 CNN 的方法在捕捉细粒度的多尺度和边缘特征方面存在不足，导致特征整合效果欠佳。另一方面，基于 Transformer 的模型在训练和融合阶段计算量大，使其无法用于实时临床场景。此外，融合图像的临床应用仍有待探索。在本文中，我们提出了一种新颖的基于 CNN 的架构，通过引入膨胀残差注意力网络模块以进行有效的多尺度特征提取，并结合梯度算子来增强边缘细节学习，从而解决了这些局限性。为了确保快速高效的融合，我们提出了一种基于 softmax 加权核范数的无参数融合策略，该策略在训练或推理期间无需额外计算。包括下游脑肿瘤分类任务在内的广泛实验表明，我们的方法在视觉质量、纹理保留和融合速度方面优于各种基线方法，使其成为现实世界临床应用的可能实用解决方案。代码将在 https://github.com/simonZhou86/en_dran 发布。