利用动态被试感知路由改进多模态脑编码模型

自然 fMRI 编码必须处理多模态输入、变化的融合方式以及显著的被试间变异性。我们引入了 AFIRE（Agnostic Framework for Multimodal fMRI Response Encoding，多模态 fMRI 响应编码的不可知框架），这是一个标准化来自不同编码器的时间对齐融合后 token 的不可知接口；以及 MIND，一个具有被试感知动态门控的即插即用混合专家解码器。AFIRE 端到端训练以进行全脑预测，将解码器与上游融合解耦；而 MIND 将依赖于 token 的 Top-K 稀疏路由与被试先验相结合，在不牺牲通用性的前提下实现专家使用的个性化。在多种多模态骨干网络和被试上的实验表明，相较于强基线取得了一致的提升，增强了跨被试泛化能力，并获得了与内容类型相关的可解释专家模式。该框架为新编码器和数据集提供了简单的接入点，为自然神经影像研究实现了稳健的即插即用性能。