就像人类一样：信息结构预测长距离依赖的可接受性
计算与语言
2025-05-15 v1
摘要
关于任何语言模型如何理解自然语言或生成可靠的语言判断仍有争议。此外， relatively little work has demonstrated that LMs can represent and respect linguists提出的形式与功能之间细微关系的那些关系。我们专注于最近工作中确立的这样一种关系：英语说话者对规范句子信息结构的判断会预测对应“长距离依赖”[LDD]构造的独立收集的可接受性评级，这些构造在广泛的基本构造和多种LDD类型上都如此。为了确定是否任何语言模型捕捉到了这一关系，我们在用于人类的同一任务上探测GPT-4，并进行新的扩展。结果揭示了关于信息结构和可接受性任务的可靠语言技能，复制了一个惊人的信息结构与可接受性之间的相互作用，尽管这些任务是零-shot和明确的，几乎没有机会受到污染[研究1a, 1b]。研究2通过操纵基本句子的信息结构来确认这种关系是因果关系：增加构件在上下文句子中的显著性会增加LDD构造的后续可接受性评级。这些发现表明自然语言和GPT-4生成的英语之间存在紧密关系，以及信息结构与语法之间也存在这种关系，这需要进一步探索。
引用
@article{arxiv.2505.09005,
title = {For GPT-4 as with Humans: Information Structure Predicts Acceptability of Long-Distance Dependencies},
author = {Nicole Cuneo and Eleanor Graves and Supantho Rakshit and Adele E. Goldberg},
journal= {arXiv preprint arXiv:2505.09005},
year = {2025}
}