MoRE-Brain：面向可解释且可泛化的跨主体 fMRI 视觉解码的路由混合专家模型
机器学习
2025-10-09 v3 人工智能
计算机视觉与模式识别
人机交互
摘要
从 fMRI 解码视觉体验是理解人类感知并发展高级脑机接口的强大途径。然而，当前进展常侧重于最大化重构保真度，忽视了解释性——这一对获取神经科学洞见至关重要。为此，我们提出 MoRE-Brain，一个旨�实现高保真度、可适应且可解释视觉重构的神经启发框架。MoRE-Brain 独特地采用层级化混合专家架构，其中不同专家处理来自功能相关脑区组的 fMRI 信号，模拟专门化的脑网络。专家首先被训练将 fMRI 编码到冻结的 CLIP 空间中。随后，一个微调的扩散模型通过一种新颖的双阶段路由机制引导生成图像，动态加权扩散过程中专家的贡献。MoRE-Brain 提供三项主要突破：首先，它引入一种基于脑网络原理的混合专家架构，用于神经解码；其次，它通过共享核心专家网络同时仅调整主体特定路由器，实现了高效的跨主体泛化；第三，它提供了增强的机制性洞见，因为显式路由揭示了不同建模脑区如何精确塑造重构图像的语义和空间属性。广泛的实验验证了 MoRE-Brain 的高重构保真度，瓶颈分析进一步表明其有效利用 fMRI 信号，区分了真实的神经解码与对生成先验的过度依赖。因此，MoRE-Brain 标志着更可泛化和可解释的基于 fMRI 的视觉解码的重大进展。代码将很快公开：https://github.com/yuxiangwei0808/MoRE-Brain
引用
@article{arxiv.2505.15946,
title = {MoRE-Brain: Routed Mixture of Experts for Interpretable and Generalizable Cross-Subject fMRI Visual Decoding},
author = {Yuxiang Wei and Yanteng Zhang and Xi Xiao and Tianyang Wang and Xiao Wang and Vince D. Calhoun},
journal= {arXiv preprint arXiv:2505.15946},
year = {2025}
}
备注
Accepted to NeurIPS 2025