人类还是 LLM 在世界知识与偏见用于消除句法歧义方面更依赖哪一种？
计算与语言
2025-03-24 v2
摘要
本研究探讨了最新大语言模型（LLMs）如何处理相对从句依附歧义，并使用世界知识偏见进行消除歧义的六种语言类型学多样性语言（英语、中文、日语、韩语、俄语、西班牙语）中的情况。我们描述了创建新数据集 -- MultiWho -- 的过程，用于细粒度评估在歧义和无歧义情境下相对从句依附偏好的评估。我们的实验结果表明，与人类不同，LLMs 在相对从句依附上始终表现出偏向本地依附的倾向，显示出对句法变体或语言特定依附模式的有限响应。尽管 LLMs 在无歧义情境下表现良好，但它们僵化地优先考虑世界知识偏见，缺乏人类语言处理的灵活性。这些发现凸显了需要更具多样性、在实践中更细致的多语言训练的需求，以提高 LLMs 处理复杂结构和人类样态理解能力。
引用
@article{arxiv.2503.10838,
title = {Who Relies More on World Knowledge and Bias for Syntactic Ambiguity Resolution: Humans or LLMs?},
author = {So Young Lee and Russell Scheinberg and Amber Shore and Ameeta Agrawal},
journal= {arXiv preprint arXiv:2503.10838},
year = {2025}
}
备注
Accepted at NAACL 2025 main