surprisal 的分解：语言处理中ERP组成部分的统一计算模型
计算与语言
2024-11-13 v2 信息论
math.IT
摘要
语言相关ERP组件的功能解释是心理语言学领域的核心争论之一。我们提出了一种信息论模型，用于描述大脑中人类语言处理，其中输入的语言在首先浅层处理后，再进行更深层的处理，这两种信息处理方式对应于不同的脑电图特征。形式上，我们展示了语言输入中单词的信息内容（surprisal）可以分解为两个量数：（A）浅层surprisal，这信号单词的浅层处理困难，对应N400信号；（B）深层surprisal，这反映浅层表征与深层表征之间的差异，对应P600信号和其他晚期正电位。这两个量数都可以轻松地使用现代NLP模型来估计。我们通过在六项实验中先前报告的实验数据中，对各种语言操纵所引发的ERP模式进行成功的模拟来验证我们的理论，成功地进行了新的定性和定量预测。我们的理论与传统认知理论相容，后者假设存在“足够好的”浅层表征阶段，但采用精确的信息论表述。该模型为ERP组件提供了一个基于认知过程的信息论模型，使我们更接近于完全指定的神经计算语言处理模型。
引用
@article{arxiv.2409.06803,
title = {Decomposition of surprisal: Unified computational model of ERP components in language processing},
author = {Jiaxuan Li and Richard Futrell},
journal= {arXiv preprint arXiv:2409.06803},
year = {2024}
}