基于平面图的功能性MRI视觉Transformer扩展
计算机视觉与模式识别
2026-05-05 v2 人工智能
神经元与认知
摘要
我们研究了训练功能性MRI自监督基础模型的问题。我们的主要贡献包括：（1）我们引入一个新模型系列（CortexMAE），其使用掩码自编码器框架在2.1K小时开放fMRI数据上进行训练，（2）我们发布了首个开放评估套件（Brainmarks）用于fMRI基础模型。我们的核心创新很简单：我们将Vision Transformer适用于fMRI，首先将每个3D fMRI体积转换为2D图，通过皮层平面图投影实现。我们直接将平面图与分割图和体积表示进行比较。虽然每种方法都有其优势，但总体而言，平面图性能最佳。我们进行了fMRI的首次系统性扩展分析，观察到严格的幂律扩展，尽管存在限制。最后，我们使用Brainmarks进行受控基准比较。在主体水平特征预测方面，我们报告了一个具有挑战性的空结果：没有单个模型实现明确的最先进性能。此外，所有模型都难以超过一个简单的功能连接基线。在认知状态解码方面，我们观察到更稳健的性能，在该设置下，我们的CortexMAE系列显著优于先前模型。代码、模型和数据集均可在https://github.com/MedARC-AI/CortexMAE和https://github.com/MedARC-AI/Brainmarks获取。
引用
@article{arxiv.2510.13768,
title = {Scaling Vision Transformers for Functional MRI with Flat Maps},
author = {Connor Lane and Mihir Tripathy and Leema Krishna Murali and Ratna Sagari Grandhi and Shamus Sim Zi Yang and Sam Gijsen and Debojyoti Das and Manish Ram and Utkarsh Kumar Singh and Cesar Kadir Torrico Villanueva and Yuxiang Wei and Will Beddow and Gianfranco Cortés and Suin Cho and Daniel Z. Kaplan and Benjamin Warner and Tanishq Mathew Abraham and Paul S. Scotti},
journal= {arXiv preprint arXiv:2510.13768},
year = {2026}
}
备注
Accepted at ICML 2026; Code: https://github.com/MedARC-AI/CortexMAE; Benchmark: https://github.com/MedARC-AI/Brainmarks; Discord: https://discord.gg/tVR4TWnRM9