大语言模型是否知晓事实？
计算与语言
2023-10-10 v1
摘要
大语言模型（LLMs）近来在一系列自然语言处理任务上带来了令人瞩目的性能提升。在预训练与指令微调过程中获取的事实性知识可用于各类下游任务，如问答与语言生成。与显式存储事实知识的传统知识库（Knowledge Bases, KBs）不同，LLM 将其参数中隐式存储事实。由于事实可能被错误归纳或随时间过时，LLM 生成的内容常表现出不准确或与事实偏离。为此，我们旨在通过设计基准 Pinocchio 来全面评估 LLM 中事实性知识的程度与范围。Pinocchio 包含 20K 道多样化事实性问题，涵盖不同来源、时间线、领域、地区与语言。此外，我们探究了 LLM 是否能够组合多个事实、随时间更新事实性知识、对多则事实进行推理、识别细微事实差异以及抵御对抗样本。在不同规模与类型的 LLM 上开展的广泛实验表明，现有 LLM 仍缺乏事实性知识并受困于多种伪相关。我们认为这是实现可信人工智能的关键瓶颈。数据集 Pinocchio 与我们的代码将公开可用。
引用
@article{arxiv.2310.05177,
title = {Do Large Language Models Know about Facts?},
author = {Xuming Hu and Junzhe Chen and Xiaochuan Li and Yufei Guo and Lijie Wen and Philip S. Yu and Zhijiang Guo},
journal= {arXiv preprint arXiv:2310.05177},
year = {2023}
}
备注
20 pages, 8 figures