AdaFuse：基于空频交叉注意力的自适应医学图像融合
计算机视觉与模式识别
2023-10-25 v2
摘要
多模态医学图像融合对于精确的临床诊断和手术导航至关重要，因为它可以将多模态中的互补信息合并为单幅图像。融合图像的质量取决于所提取的单模态特征以及多模态信息的融合规则。现有的基于深度学习的融合方法虽能充分挖掘各模态的语义特征，却无法区分各模态有效的低频与高频信息并自适应地融合。为此，我们提出 AdaFuse，通过基于傅里叶变换的频率引导注意力机制自适应地融合多模态图像信息。具体而言，我们提出交叉注意力融合（CAF）模块，通过交换键（key）与查询（query）值，在空域和频域自适应融合两模态特征，进而计算空间与频率特征间的交叉注意力分数，以进一步引导空频信息融合。CAF 模块增强了不同模态的高频特征，从而保留融合图像中的细节。此外，我们设计了一种由结构损失与内容损失构成的新型损失函数，以同时保留低频与高频信息。在多个数据集上的大量对比实验表明，所提方法在视觉质量和定量指标上均优于现有最优方法。消融实验也验证了所提损失与融合策略的有效性。
引用
@article{arxiv.2310.05462,
title = {AdaFuse: Adaptive Medical Image Fusion Based on Spatial-Frequential Cross Attention},
author = {Xianming Gu and Lihui Wang and Zeyu Deng and Ying Cao and Xingyu Huang and Yue-min Zhu},
journal= {arXiv preprint arXiv:2310.05462},
year = {2023}
}