基于可解释图神经网络融合 fMRI、DTI 与 sMRI 的脑连接综合分析
神经元与认知
2025-04-15 v2 机器学习
摘要
多模态神经影像建模已成为一种广泛使用的方法,但由于异构性面临相当大的挑战,这种异构性包括跨模态的数据类型、尺度和格式的变异性。这种变异性需要部署先进的计算方法,在一个统一的分析框架内整合和解释这些不同的数据集。在我们的研究中,我们将功能磁共振成像、扩散张量成像和结构 MRI 融合到一个统一的框架中。这种融合利用了每种模态的独特优势及其固有的相互联系,旨在全面理解大脑的连接性和解剖特征。利用 Glasser 图谱进行分区,我们整合了来自不同模态的影像衍生特征:来自 fMRI 的功能连接性、来自 DTI 的结构连接性,以及来自 sMRI 的一致区域内的解剖特征。我们的方法结合了掩蔽策略来对神经连接进行差异化加权,从而促进多模态影像数据的整体融合。该技术增强了连接层面的可解释性,超越了以单一区域属性为中心的传统分析。该模型被应用于人类连接体项目的发展研究,以阐明整个青少年时期多模态影像与认知功能之间的关联。分析表明,该模型提高了预测准确性,并揭示了关键的解剖特征和重要的神经连接,加深了我们对大脑结构和功能的理解。
引用
@article{arxiv.2408.14254,
title = {Integrated Brain Connectivity Analysis with fMRI, DTI, and sMRI Powered by Interpretable Graph Neural Networks},
author = {Gang Qu and Ziyu Zhou and Vince D. Calhoun and Aiying Zhang and Yu-Ping Wang},
journal= {arXiv preprint arXiv:2408.14254},
year = {2025}
}