基于跨注意力的多模态连接组融合用于自闭谱系障碍分类
计算机视觉与模式识别
2026-03-17 v1 人工智能
摘要
自闭谱系障碍（ASD）是一种复杂的神经发育疾病，表现为异常的功能脑连接和细微的结构改变。静脉颅磁共振（rs-fMRI）广泛用于识别大规模脑网络中的功能性破坏，而结构化MRI提供关于形态学组织的补充信息。尽管二者具有互补性，但在统一框架中有效整合这些异构成像模态仍然具有挑战性。本研究提出了一种多模态图学习框架，保持功能连接的主导作用，同时整合结构成像和表型信息用于ASD分类。该框架在ABIDE-I数据集上进行评估。每个受试者在人口图中作为一个节点表示。功能和结构特征提取为模态特定的节点属性，而受试者之间的关系则使用基于表型信息的两两关联编码器（PAE）进行建模。训练两个边变分GCN以学习受试者级别的嵌入。为实现有效的多模态集成，我们引入一种新型的非对称基于转换器的跨注意力机制，允许功能嵌入 selectively 融合补充的结构信息，同时保持功能主导地位。最终的融合嵌入被传递到MLP用于ASD分类。使用分层10折交叉验证，该框架实现了87.3%的AUC和84.4%的准确率。在离开一站交叉验证（LOSO-CV）下，该模型在平均跨站准确率达到82.0%，在10折交叉验证下超过现有方法约3%，在LOSO-CV下约7%。该框架有效地整合了来自多站ABIDE-I数据集的异构多模态数据，提高了跨成像站点的自动化ASD分类。
引用
@article{arxiv.2603.15168,
title = {Multimodal Connectome Fusion via Cross-Attention for Autism Spectrum Disorder Classification Using Graph Learning},
author = {Ansar Rahman and Hassan Shojaee-Mend and Sepideh Hatamikia},
journal= {arXiv preprint arXiv:2603.15168},
year = {2026}
}
备注
29 Pages; 5 Figures