Rhamba：面向静息态 fMRI 的区域感知混合注意力-Mamba 框架的自监督学习
机器学习
2026-05-11 v2 人工智能
摘要
自监督预训练在大规模神经成像研究中具有前景，但区域感知掩码和混合序列建模的影响仍未得到充分探讨。本文引入 Rhamba，一个集成解剖学引导掩码与混合注意力-Mamba 架构的区域感知预训练框架，用于静息状态功能磁性共振成像（fMRI）分析。模型在ABIDE数据集上使用区域对齐的 patch 嵌入和三种掩码策略（Any、Majority、Pure）进行预训练，采用递增的空间特定性。我们评估了四种架构变体：仅Mamba模型、交错Mamba和注意力模块的Alternate架构，以及两种混合编码器-解码器配置（注意力-Mamba（AM）和Mamba-注意力（MA））。预训练模型在使用COBRE和ADHD-200数据集进行下游分类任务微调，用于精神分裂症和注意力不足/多动障碍的鉴别诊断。我们采用集成梯度（Integrated Gradients）这一可解释AI方法，以识别模型预测所依赖的脑区。掩码策略对重建行为影响显著，重建损失遵循一致排序（Any > Majority > Pure），但这一趋势并未直接转化为下游性能，其中差异有限且取决于数据集。采用MA配置的混合架构在两个数据集上实现了最高的平均AUROC，Rhamba在与现有方法的比较评估中表现优异。区域分析显示，峰值性能取决于掩码策略与架构之间的相互作用，而非单一的主导配置。总体而言，Rhamba提供了一个在大规模fMRI表示学习中实现可解释性、可扩展性与性能之间进行灵活平衡的框架。
引用
@article{arxiv.2605.01240,
title = {Rhamba: Region-Aware Hybrid Attention-Mamba Framework for Self-Supervised Learning in Resting-State fMRI},
author = {Ruthwik Reddy Doodipala and Pankaj Pandey and Pratheek Eranki and Carolina Torres-Rojas and Manob Jyoti Saikia and Ranganatha Sitaram},
journal= {arXiv preprint arXiv:2605.01240},
year = {2026}
}