用于早期阿尔茨海默病预测的多模态表示学习和对抗超图融合
计算机视觉与模式识别
2021-07-22 v1
摘要
多模态神经影像可提供关于痴呆的互补信息，但完整多模态数据的小样本量限制了表示学习的能力。此外，来自不同模态的数据分布不一致可能导致融合低效，无法充分探索模态内与模态间的交互，从而损害疾病诊断性能。为解决这些问题，我们提出了一种新颖的多模态表示学习和对抗超图融合（MRL-AHF）框架，利用完整三模态影像进行阿尔茨海默病诊断。首先，将对抗策略和预训练模型纳入 MRL，从多模态数据中提取潜在表示。然后基于潜在表示构建两个超图，并采用基于图卷积的对抗网络缩小超边特征的分布差异。最后，通过超边卷积融合超边不变特征用于疾病预测。在公共阿尔茨海默病神经影像倡议（ADNI）数据库上的实验表明，我们的模型在阿尔茨海默病检测上优于其他相关模型，并通过分析异常脑连接为理解疾病进展的潜在机制提供了可能途径。
引用
@article{arxiv.2107.09928,
title = {Multimodal Representations Learning and Adversarial Hypergraph Fusion for Early Alzheimer's Disease Prediction},
author = {Qiankun Zuo and Baiying Lei and Yanyan Shen and Yong Liu and Zhiguang Feng and Shuqiang Wang},
journal= {arXiv preprint arXiv:2107.09928},
year = {2021}
}
备注
13 pages, 3 figures