语义向量的大脑对齐改进视觉刺激的神经解码

开发能够准确解码神经信息的算法长期以来一直是神经科学领域的研究重点。大脑解码通常涉及训练机器学习模型，将神经数据映射到预先建立的刺激特征向量表示上。这些向量通常源自基于图像和/或文本的特征空间。然而，这些向量的内在特性可能与大脑编码的特性存在根本差异，从而限制了解码器准确学习这种映射的能力。为解决这一问题，我们提出了一种称为语义向量大脑对齐的框架，该框架对预训练的特征向量进行微调，使其更好地与大脑中视觉刺激的神经表征结构对齐。我们使用功能磁共振成像（fMRI）数据训练了该模型，然后在fMRI、脑磁图（MEG）和皮层脑电图（ECoG）数据上执行了零样本大脑解码。当通过计算真实向量与预测向量之间的相关系数来确定准确度时，基于fMRI的大脑对齐向量在所有三种神经影像数据集上都提升了解码性能。此外，当通过刺激识别来确定解码准确度时，这种准确度在特定类别类型上有所提高；改进程度因用于大脑对齐的原始向量空间而异，并且在所有神经影像模态中均观察到一致的改进。