双任务范式：探究语言模型中的句子理解策略
计算与语言
2026-04-30 v1
摘要
语言模型在认知资源受限时，尤其在预测句子处理成本（如阅读时间）方面表现得更像人类。然而，这些约束是否同样影响句子理解策略尚不清楚。此外，现有方法未直接针对记忆存储与句子处理之间的平衡，这是人类工作记忆的核心。为此，我们提出一种双任务范式，将算术计算任务与句子理解任务结合，例如“The 2 cocktail + blended 3 =...”。我们的实验表明，在双任务条件下，GPT-4o、o3-mini 和 o4-mini 等模型向基于可信度的理解转变，类似于人类的理性推理。具体而言，这些模型在双任务条件下的准确率在可信句子（例如：“The cocktail was blended by the bartender”）与不可信句子（例如：“The bartender was blended by the cocktail”）之间呈现更大的准确率差距。这些发现表明，对记忆与处理资源之间平衡的约束可促进语言模型中的理性推理。更广泛地说，它们支持人类式句子理解根植于有限认知资源分配的观点。
引用
@article{arxiv.2604.26351,
title = {A Dual-Task Paradigm to Investigate Sentence Comprehension Strategies in Language Models},
author = {Rei Emura and Saku Sugawara},
journal= {arXiv preprint arXiv:2604.26351},
year = {2026}
}