ITCFN：用于轻度认知功能障碍转化预测的不完整三模态共注意力融合网络
图像与视频处理
2025-01-22 v1 计算机视觉与模式识别
摘要
阿尔弗雷德病（AD）是老年人常见的神经退行性疾病。早期预测和及时干预其前期阶段——轻度认知功能障碍（MCI）——可降低其发展为AD的风险。多模态信息的融合可显著提升预测准确率。然而，缺失数据及不同模态之间的异质性 complicate multimodal learning方法，使得增加模态数量反而可能加剧这些问题。现有的多模态融合技术往往难以适应医学数据的复杂性，阻碍识别模态间关系。为此，我们提出一种创新的多模态方法，用于预测MCI转化，重点关注缺失正电脑素扫描（PET）数据及整合多样医学信息的问题。我们提出的不完整三模态MCI转化预测网络专为此目的设计。通过缺失模态生成模块，从磁共振成像（MRI）合成缺失的PET数据，并使用专用编码器提取特征。我们还开发了通道聚合模块和三模态共注意力融合模块，以减少特征冗余并实现有效的多模态数据融合。此外，我们设计一种损失函数以处理缺失模态问题并对齐跨模态特征。这些组件共同利用多模态数据提升网络性能。实验表明，在ADNI1和ADNI2数据集上，我们的方法显著优于现有的单模态和其他多模态模型。我们的代码已公开于https://github.com/justinhxy/ITFC。
引用
@article{arxiv.2501.11276,
title = {ITCFN: Incomplete Triple-Modal Co-Attention Fusion Network for Mild Cognitive Impairment Conversion Prediction},
author = {Xiangyang Hu and Xiangyu Shen and Yifei Sun and Xuhao Shan and Wenwen Min and Liyilei Su and Xiaomao Fan and Ahmed Elazab and Ruiquan Ge and Changmiao Wang and Xiaopeng Fan},
journal= {arXiv preprint arXiv:2501.11276},
year = {2025}
}
备注
5 pages, 1 figure, accepted by IEEE ISBI 2025