究竟该不该知道？——关于大语言模型在歧义情境下的自我一致性分析
计算与语言
2024-10-07 v3 机器学习
摘要
大型语言模型（LLM）的显著性能的一个重要方面在于其在预训练过程中积累的海量事实知识。然而，许多 LLM 都会出现自我不一致性，这对其可信度和可靠性构成质疑。本文聚焦于实体类型歧义，分析了在面对模糊实体时，主流大语言模型运用事实知识的专业程度与一致性。为此，我们提出了一种将“知道”与“应用知识”解耦的评估协议，并对 49 个模糊实体进行测试。我们的实验结果表明，LLM 在选择正确的实体阅读方式方面存在困难，平均准确率仅为 85%，在 underspecified 提示下甚至可低至 75%。实验结果还揭示了 LLM 行为中系统性的差异，表明尽管模型可能拥有知识，但在实际应用时难以保持一致，表现出对首选阅读方式的偏见，并存在自我不一致性。这凸显了在未来构建更可信赖的 LLM 时，需关注实体歧义问题。
引用
@article{arxiv.2407.17125,
title = {To Know or Not To Know? Analyzing Self-Consistency of Large Language Models under Ambiguity},
author = {Anastasiia Sedova and Robert Litschko and Diego Frassinelli and Benjamin Roth and Barbara Plank},
journal= {arXiv preprint arXiv:2407.17125},
year = {2024}
}
备注
EMNLP 2024 Findings