人脑语言处理的时间结构与深度语言模型的层级层次相对应
计算与语言
2023-10-12 v1 人工智能
机器学习
神经元与认知
摘要
深度语言模型（DLMs）为理解人脑中自然语言处理的机制提供了一种新颖的计算范式。与传统心理语言学模型不同，DLMs使用连续的数值向量层级序列来表示词与上下文，从而催生了大量新兴应用，例如类人文本生成。本文中，我们通过证明DLM层深度与该层对人脑最具预测性的时间之间存在强相关性，展示了DLM的层级层次可用于建模大脑中语言理解的时间动态。我们对各层进行时间分辨的能力得益于使用了皮层电图（ECoG）数据，其时间分辨率远高于fMRI等非侵入性方法。利用ECoG，我们记录了被试聆听一段30分钟叙事时的神经活动，同时将同一叙事输入一个高性能DLM（GPT2-XL）。随后我们从DLM的不同层中提取上下文嵌入，并使用线性编码模型预测神经活动。我们首先聚焦于额下回（IFG，即布罗卡区），然后将我们的模型扩展以追踪沿语言处理层次从听觉区到句法和语义区不断增大的时间感受野。我们的结果揭示了人类语言处理与DLM之间的联系，即DLM逐层累积上下文信息的过程映射了高阶语言区中神经活动的时序。
引用
@article{arxiv.2310.07106,
title = {The Temporal Structure of Language Processing in the Human Brain Corresponds to The Layered Hierarchy of Deep Language Models},
author = {Ariel Goldstein and Eric Ham and Mariano Schain and Samuel Nastase and Zaid Zada and Avigail Dabush and Bobbi Aubrey and Harshvardhan Gazula and Amir Feder and Werner K Doyle and Sasha Devore and Patricia Dugan and Daniel Friedman and Roi Reichart and Michael Brenner and Avinatan Hassidim and Orrin Devinsky and Adeen Flinker and Omer Levy and Uri Hasson},
journal= {arXiv preprint arXiv:2310.07106},
year = {2023}
}