MIRAGE：用于whole-brain fMRI编码的自适应多模态门控
机器学习
2026-05-29 v1
摘要
最近的任务优化神经网络进展建立了编码模型作为预测自然刺激脑反应的强大工具，但大多数现有方法依赖单模态表征。多模态基础模型的出现以及丰富的多模态神经数据集，使得能够联合整合视觉、听觉和语言信息的编码模型成为可能。我们引入MIRAGE，一个用于预测自然音视频刺激下whole-brain fMRI响应的脑编码框架。MIRAGE通过原生多模态主干和跨层自适应特征门控实现了最先进的性能。这些表征随后与基于transformer的脑编码器和针对皮层块的subject-specific线性头结合起来。受控比较表明，原生多模态特征在不同架构层级和主干上 consistently优于独立单模态特征的后处理聚合。除了预测准确性外，学习到的注意力权重可直接检查，以解释跨主干的模态特定门控轮廓，每个模态在大脑皮层中追踪不同的解剖模式。总体而言，这些结果提出了对原生多模态特征进行自适应层次化聚合作为一种通用、可解释且准确的whole-brain编码方法。
关键词
引用
@article{arxiv.2605.29850,
title = {MIRAGE: Adaptive Multimodal Gating for Whole-Brain fMRI Encoding},
author = {Abdulkadir Gokce and Badr AlKhamissi and Martin Schrimpf},
journal= {arXiv preprint arXiv:2605.29850},
year = {2026}
}
备注
Preprint. First two author contributed equally