基于集成流形的正则化多模态图卷积网络用于认知能力预测
机器学习
2024-08-27 v1
摘要
目的：多模态功能磁共振成像（fMRI）可用于基于脑连接网络预测个体的行为和认知特征。方法：为利用多模态fMRI的互补信息，我们提出了一种可解释的多模态图卷积网络（MGCN）模型，该模型融合了fMRI时间序列与每对脑区之间的功能连接（FC）。具体而言，我们的模型从多模态数据导出的个体脑网络学习图嵌入。随后施加基于流形的正则化项，以考虑模态内与模态间受试者的关系。此外，我们提出梯度加权回归激活映射（Grad-RAM）与边掩码学习来解释模型，用于识别显著的认知相关生物标志物。结果：我们在费城神经发育队列上验证MGCN模型以预测个体广泛成就测验（WRAT）分数。相比单模态GCN及其他竞争方法，我们的模型获得了更优的预测性能。所识别的生物标志物经不同方法交叉验证。结论与意义：本文开发了一种新的可解释图深度学习框架用于认知能力预测，有望克服若干当前数据融合模型的局限。结果表明MGCN在分析多模态fMRI及发现人脑研究重要生物标志物方面的能力。
引用
@article{arxiv.2101.08316,
title = {Ensemble manifold based regularized multi-modal graph convolutional network for cognitive ability prediction},
author = {Gang Qu and Li Xiao and Wenxing Hu and Kun Zhang and Vince D. Calhoun and Yu-Ping Wang},
journal= {arXiv preprint arXiv:2101.08316},
year = {2024}
}