NeuroPath:一种神经通路Transformer用于整合人类连接组学
神经元与认知
2024-10-29 v3 人工智能
计算机视觉与模式识别
机器学习
摘要
虽然现代成像技术使我们能够研究两个脑区之间的连接性,但仍难以深入理解解剖结构如何支撑脑功能以及随机功能波动如何产生惊人认知。同时,在机器学习领域也付出了巨大努力来建立神经影像数据与表型特征之间的非线性映射。然而,当前方法缺乏神经科学的见解,导致理解从瞬时神经活动中认知行为方面存在显著挑战。为此,我们聚焦结构连接(SC)与功能连接(FC)之间的耦合机制,将该网络神经科学问题形式化为高阶拓扑的图表示学习问题。具体而言,我们提出拓扑 detour 概念,以刻画FC(直接链接)如何通过由SC物理布线的神经通路(detour)得到支持,形成由脑结构与功能相互作用的循环环路。在机器学习的范式中,SC-FC耦合所涉及的多跳 detour 通路,使我们能够在Transformer中设计新的多头自注意力机制,以捕获SC和FC配对图的多模态特征表示。总之,我们提出一种受生物学启发的深度模型,称为NeuroPath,从海量神经影像数据中寻找潜在的连接组学特征表示,可用于各种下游应用,如任务识别和疾病诊断。我们在大型公开数据集(包括HCP和UK Biobank)上进行评估,采用监督学习和零样本学习,NeuroPath实现了SOTA性能,表明其在网络神经科学中具有巨大潜力。
引用
@article{arxiv.2409.17510,
title = {NeuroPath: A Neural Pathway Transformer for Joining the Dots of Human Connectomes},
author = {Ziquan Wei and Tingting Dan and Jiaqi Ding and Guorong Wu},
journal= {arXiv preprint arXiv:2409.17510},
year = {2024}
}
备注
Accepted by NeurIPS 2024