论上下文在阅读时间预测中的作用
计算与语言
2025-06-26 v4 机器学习
摘要
我们提出了一个关于读者在实时语言理解过程中如何整合上下文的新视角。我们的提议建立在惊异理论之上，该理论假设语言单元（例如词）的处理努力是其上下文信息内容的仿射函数。我们首先观察到，惊异只是从语言模型中导出上下文预测变量的众多潜在方式之一。另一种是语言单元与其上下文之间的逐点互信息（PMI），事实证明，在控制一元频率的情况下，其预测能力与惊异相同。此外，PMI 和惊异均与频率相关。这意味着 PMI 和惊异都不包含仅关于上下文的信息。针对这一点，我们提出了一种技术，将惊异投影到频率的正交补上，产生一个与频率不相关的新上下文预测变量。我们的实验表明，当上下文由正交化预测变量表示时，阅读时间中由上下文解释的方差比例要小得多。从可解释性的角度来看，这表明先前的研究可能夸大了上下文在预测阅读时间中的作用。
引用
@article{arxiv.2409.08160,
title = {On the Role of Context in Reading Time Prediction},
author = {Andreas Opedal and Eleanor Chodroff and Ryan Cotterell and Ethan Gotlieb Wilcox},
journal= {arXiv preprint arXiv:2409.08160},
year = {2025}
}
备注
EMNLP 2024; preprocessing was corrected to exclude variance due to word skipping and the conclusions remain unchanged