Head-to-Tail：大语言模型(LLM)的知识储备如何？兼论LLM是否会取代知识图谱？
计算与语言
2024-04-04 v2
摘要
自大语言模型(LLM)近期蓬勃发展以来，关于如何减少LLM回复中的幻觉、如何提高LLM的事实性，以及以符号形式存储世界知识的知识图谱(KG)是否会被LLM取代，一直交织着诸多讨论。本文尝试从一个新角度回答这些问题：LLM的知识储备如何？为回答此问题，我们构建了Head-to-Tail，一个由18K个关于头部、躯干和尾部事实（按流行度划分）的问答(QA)对组成的基准。我们设计了一种自动评估方法和一组紧密近似于LLM自信内化的知识的指标。通过对16个公开可用LLM的全面评估，我们表明现有LLM在其对事实知识的掌握方面仍远非完美，尤其是对于躯干到尾部实体的事实。
关键词
引用
@article{arxiv.2308.10168,
title = {Head-to-Tail: How Knowledgeable are Large Language Models (LLMs)? A.K.A. Will LLMs Replace Knowledge Graphs?},
author = {Kai Sun and Yifan Ethan Xu and Hanwen Zha and Yue Liu and Xin Luna Dong},
journal= {arXiv preprint arXiv:2308.10168},
year = {2024}
}
备注
To appear in NAACL 2024