TractGraphFormer：面向 Diffusion MRI 脑白 matter 网络的可解释性性别和年龄预测的混合图 CNN-Transformer 网络
计算机视觉与模式识别
2025-09-10 v2
摘要
脑连接与非成像表型变量之间的关系正逐渐受到深度神经网络的关注。然而，脑白 matter 网络的局部和全局特性往往被忽略于卷积网络设计中。我们引入 TractGraphFormer，这是一种针对 diffusion MRI 脑白 matter 网络的混合图 CNN-Transformer 深度学习框架。该模型利用白 matter 结构的局部解剖特征和全局特征依赖性。图 CNN 模块捕获白 matter 几何和灰质连接，以聚合来自解剖学上相似的白 matter 连接的局部特征，而 Transformer 模块则利用自注意力机制来增强全局信息学习。此外，TractGraphFormer 包括一个注意力模块用于解释预测性脑白 matter 连接。我们将 TractGraphFormer 应用于性别和年龄预测任务。TractGraphFormer 在包含 9345 名儿童和 1065 名年轻成年人的大型数据集上表现出色。总体而言，我们的方法表明，皆在 WM 中的广泛连接是预测个体性别和年龄的关键因素。对于每个预测任务，都在两个数据集中识别出一致的预测解剖 tract。该方法的提出强调了将局部解剖信息和全局特征依赖性集成以提高 diffusion MRI tractography 中的机器学习预测性能的潜力。
引用
@article{arxiv.2407.08883,
title = {TractGraphFormer: Anatomically Informed Hybrid Graph CNN-Transformer Network for Interpretable Sex and Age Prediction from Diffusion MRI Tractography},
author = {Yuqian Chen and Fan Zhang and Meng Wang and Leo R. Zekelman and Suheyla Cetin-Karayumak and Tengfei Xue and Chaoyi Zhang and Yang Song and Jarrett Rushmore and Nikos Makris and Yogesh Rathi and Weidong Cai and Lauren J. O'Donnell},
journal= {arXiv preprint arXiv:2407.08883},
year = {2025}
}
备注
27 pages, 5 figures