神经语言模型解释园林路径效应的存在性证明
计算与语言
2026-04-21 v1
摘要
surprisal 理论假设人类句子处理难度随 surprisal 线性增加，即给定上下文后单词的负对数概率。计算心理语言学通过语言模型 (LM) 作为人类预测的代理来测试这一假设。虽然来自最近神经 LM 的 surprisal 通常能捕捉自然语料中简单句子的人类处理难度，但在需要语法消歧的句子（园林路径效应）上严重低估了处理难度。这导致人们认为此类句子的处理难度不能归结为 surprisal，尽管也可能是神经 LM 在下一个单词预测上与人类存在差异。本文检验是否真的不可能构建一个能通过 surprisal 解释园林路径效应的神经 LM。具体做法是对现有的神经 LM 在园林路径句子上进行微调，以更好地将基于 surprisal 的阅读时间估计与实际人类阅读时间对齐。我们的结果表明，微调后的 LM 不会过拟合，成功捕捉到在保留园林路径项目上的人类阅读减慢现象；它们甚至还能提高在自然语料中人类阅读时间的预测能力，并保持其通用的 LM 能力。这为一个能通过 surprisal 解释园林路径效应和自然阅读时间的神经 LM 提供了存在性证明，但也提出了一个理论问题：什么样的证据才能真正否定 surprisal 理论？
关键词
引用
@article{arxiv.2604.18293,
title = {An Existence Proof for Neural Language Models That Can Explain Garden-Path Effects via Surprisal},
author = {Ryo Yoshida and Shinnosuke Isono and Taiga Someya and Yohei Oseki and Tatsuki Kuribayashi},
journal= {arXiv preprint arXiv:2604.18293},
year = {2026}
}
备注
To appear in ACL 2026