大语言模型中的事件知识：不可能与不太可能之间的鸿沟
计算与语言
2023-10-27 v4 人工智能
摘要
语言语料库中的词语共现模式包含惊人数量的概念知识。经过在上下文预测词语训练的大语言模型（LLMs）利用这些模式，在需要世界知识的多种语义任务上取得令人印象深刻的性能。关于 LLM 语义能力一个重要但研究不足的问题是它们是否习得对常见事件的泛化知识。在此，我们测试五个预训练 LLM（从 2018 年的 BERT 到 2023 年的 MPT）是否对施事-受事互动的可信描述赋予比同一事件最小差异的不可信版本更高的似然。使用三组精心构建的最小句子对（总计 n=1,215），我们发现预训练 LLM 拥有大量事件知识，优于其他分布语言模型。特别是，它们几乎总是对可能 vs. 不可能的事件赋予更高似然（The teacher bought the laptop vs. The laptop bought the teacher）。然而，LLM 对可能 vs. 不太可能事件（The nanny tutored the boy vs. The boy tutored the nanny）的偏好较不一致。在后续分析中，我们表明（i）LLM 打分由可信度与表层句子特征共同驱动，（ii）LLM 打分在句法变体（主动 vs. 被动结构）上泛化良好，但在语义变体（同义句）上泛化较差，（iii）某些 LLM 错误反映人类判断模糊性，以及（iv）句子可信度作为内部 LLM 表征中的组织维度。总体而言，我们的结果显示事件知识的重要方面自然涌现于分布语言模式，但也凸显了可能/不可能与可能/不太可能事件表征之间的鸿沟。
引用
@article{arxiv.2212.01488,
title = {Event knowledge in large language models: the gap between the impossible and the unlikely},
author = {Carina Kauf and Anna A. Ivanova and Giulia Rambelli and Emmanuele Chersoni and Jingyuan Selena She and Zawad Chowdhury and Evelina Fedorenko and Alessandro Lenci},
journal= {arXiv preprint arXiv:2212.01488},
year = {2023}
}
备注
The two lead authors have contributed equally to this work