UniBrain：用于跨主体脑解码的统一模型
计算机视觉与模式识别
2024-12-30 v1
摘要
脑解码旨在从 fMRI 信号重建原始刺激，为解释心理内容提供洞见。当前方法高度依赖于主体特定模型 due to 复杂的脑处理机制以及 fMRI 信号在个体间的差异，这些方法极大限制了模型的泛化性，无法捕捉跨主体的共性。为此，我们提出 UniBrain，一个无需主体特定参数的统一脑解码模型。我们的方法包括用于处理可变 fMRI 信号长度的基于群的提取器、用于捕捉跨主体共性的互助嵌入器，以及用于提取主体不变特征的双层特征对齐方案。我们在脑解码基准数据集上验证了 UniBrain，虽然参数数量极少，却达到了当前 SOTA 主体特定模型的可比性能。我们还提出了一个泛化基准，以鼓励社区更加关注跨主体共性，以实现更通用的脑解码。我们的代码已公开于 https://github.com/xiaoyao3302/UniBrain。
引用
@article{arxiv.2412.19487,
title = {UniBrain: A Unified Model for Cross-Subject Brain Decoding},
author = {Zicheng Wang and Zhen Zhao and Luping Zhou and Parashkev Nachev},
journal= {arXiv preprint arXiv:2412.19487},
year = {2024}
}
备注
13 pages, 4 figures, 9 tables