语言模型中指示性与非指示性证据对宾语互换偏好的贡献
计算与语言
2025-08-12 v3
摘要
语言模型（LM）倾向于在多个句法现象上表现出类人偏好，但归因于直接暴露于这些现象还是更一般的语言属性尚不明确。我们通过控制驯化范例来探索这一问题，针对英语宾语互换（DO："gave Y the X" vs. PO："gave the X to Y"），使用不断训练小型 LM 的方法。我们关注两个影响互换选择的属性：长度和 animacy。这两个属性既直接存在于宾语中，也反映了更普遍的倾向：较短的元素优先于较长的元素，animate 元素优先于 inanimate 元素。首先，通过操控和剔除宾语中关于这些偏好的证据，我们显示直接的 length 和 animacy 证据确实重要，但即使没有此类证据，easy-first 偏好仍然存在。随后，使用在系统性扰动数据集上训练的 LM 来操控全局长度效应（在保持依赖结构的同时重新排序句子），我们发现宾语偏好可从间接证据中产生。我们得出结论，LM 的涌现句法偏好来源于 direct 与 indirect 来源的混合。
引用
@article{arxiv.2503.20850,
title = {Both Direct and Indirect Evidence Contribute to Dative Alternation Preferences in Language Models},
author = {Qing Yao and Kanishka Misra and Leonie Weissweiler and Kyle Mahowald},
journal= {arXiv preprint arXiv:2503.20850},
year = {2025}
}