信息受限神经语言模型揭示不同脑区对语义、句法及上下文的敏感性
计算与语言
2023-03-01 v1
摘要
神经语言学中的一个基本问题涉及言语理解过程中参与句法与语义加工的脑区，既包括词汇层面（词加工）也包括超词汇层面（句子与语篇加工）。这些脑区在何种程度上是分离或交织的？为回答该问题，我们在一个文本语料库上训练了词汇级语言模型 Glove 与超词汇级语言模型 GPT-2，并从中选择性地移除句法或语义信息。随后我们评估了这些信息受限模型在预测人类聆听自然文本时 fMRI 信号时间进程方面的能力。我们还操控提供给 GPT-2 的上下文信息规模，以确定参与超词汇加工的脑区的整合窗口。我们的分析表明，尽管多数语言相关脑区对句法与语义变量均敏感，这些效应的相对大小在各脑区间差异很大。此外，我们发现左右半球间的不对称性：左半球的语义与句法加工比右半球更为分离，而左右半球分别对短与长上下文表现出更高敏感性。信息受限 NLP 模型的使用从而为进一步理解句法加工、语义加工及组合性的空间组织提供了新视角。
引用
@article{arxiv.2302.14389,
title = {Information-Restricted Neural Language Models Reveal Different Brain Regions' Sensitivity to Semantics, Syntax and Context},
author = {Alexandre Pasquiou and Yair Lakretz and Bertrand Thirion and Christophe Pallier},
journal= {arXiv preprint arXiv:2302.14389},
year = {2023}
}
备注
19 pages, 8 figures, 10 pages of Appendix, 5 appendix figures