BrainMT：用于建模 fMRI 数据中长程依赖的混合 Mamba-Transformer 架构
计算机视觉与模式识别
2025-07-01 v1
摘要
近期深度学习的进展使得可以直接从功能磁性共振成像(fMRI)脑体积预测表型度量，引发了神经影像学界的广泛关注。然而，现有方法——主要基于卷积神经网络或 Transformer 架构——往往难以建模fMRI 数据中固有的复杂关系，受限于无法捕捉长程的空间和时间依赖性。为克服这些局限，我们引入BrainMT，一种新型混合框架，旨在高效地学习和集成fMRI 数据中的长程时空属性。该框架包含两个阶段：(1) 具备时序优先扫描机制的双向 Mamba 块，以计算高效的方式捕捉全局时序相互作用；(2) 采用自注意力机制的 Transformer 块，用于建模经过 Mamba 块处理后的深度特征之间的全局空间关系。在两个大型公开数据集 UKBioBank 和 Human Connectome Project 上进行的大量实验表明，BrainMT 在分类任务（性别预测）和回归任务（认知智力预测）上均实现了最先进的性能，显著优于现有方法。我们的代码和实现细节将在本论文中公开披露。
引用
@article{arxiv.2506.22591,
title = {BrainMT: A Hybrid Mamba-Transformer Architecture for Modeling Long-Range Dependencies in Functional MRI Data},
author = {Arunkumar Kannan and Martin A. Lindquist and Brian Caffo},
journal= {arXiv preprint arXiv:2506.22591},
year = {2025}
}
备注
Accepted at MICCAI 2025