MindBridge：一种跨被试脑解码框架
计算机视觉与模式识别
2024-04-12 v1 人工智能
摘要
脑解码是神经科学领域的关键领域，旨在从采集的脑信号中重建刺激，主要利用功能磁共振成像（fMRI）。目前，脑解码局限于“一被试一模型”的范式，这限制了解码模型仅能应用于训练该模型的同一个体。这一限制源于三个关键挑战：1）由于大脑尺寸差异导致的被试间输入维度的固有差异；2）独特的内在神经模式，影响不同个体感知和处理感官信息的方式；3）真实场景中新被试的有限数据可用性阻碍了解码模型的性能。在本文中，我们提出了一种新方法 MindBridge，仅需一个模型即可实现跨被试脑解码。我们提出的框架建立了一种通用范式，通过引入受生物学启发的聚合函数和用于被试不变表征学习的新型循环 fMRI 重建机制，能够应对这些挑战。值得注意的是，通过 fMRI 的循环重建，MindBridge 能够实现新型 fMRI 合成，这也可作为伪数据增强。在该框架内，我们还设计了一种新颖的重置微调方法，用于将预训练模型适配到新被试。实验结果表明，MindBridge 能够为多个被试重建图像，其表现与专门的被试特定模型相当。此外，在新被试数据有限的情况下，我们实现了高水平的解码准确率，超越了被试特定模型。这一跨被试脑解码的进展为神经科学领域的更广泛应用指明了有前景的方向，并表明在真实场景中更高效地利用有限 fMRI 数据的潜力。项目页面：https://littlepure2333.github.io/MindBridge
引用
@article{arxiv.2404.07850,
title = {MindBridge: A Cross-Subject Brain Decoding Framework},
author = {Shizun Wang and Songhua Liu and Zhenxiong Tan and Xinchao Wang},
journal= {arXiv preprint arXiv:2404.07850},
year = {2024}
}
备注
CVPR 2024 highlight. Code is available at https://github.com/littlepure2333/MindBridge