用深度网络在大脑中解耦句法与语义

诸如 GPT-2 之类的语言 transformer 的激活已被证明能够在语音理解过程中线性映射到大脑活动。然而，这些激活的本质在很大程度上仍未知，且大概混淆了不同的语言类别。在此，我们提出一种分类法，将语言模型的高维激活分解为四个组合类别：词汇、组合、句法与语义表征。随后我们引入一种统计方法，通过 GPT-2 激活的视角，分解 345 名受试者在听约 4.6 小时叙述文本时以功能磁共振成像(fMRI)记录的大脑活动。结果突出了两点发现。第一，组合表征比词汇表征招募更广泛的皮层网络，并涵盖双侧颞叶、顶叶与额叶皮层。第二，与先前主张相反，句法与语义并非与分离模块相关联，而是似乎共享一个共同且分布式的神经基质。总体而言，本研究引入了一个通用框架，以在大脑活动中分离语言构件的分布式表征。