论大型语言模型（LLM）的局限性：错误归因
计算与语言
2025-07-18 v2
摘要
在这项工作中，我们引入了一种新的幻觉指标——简单幻觉指数（SHI），并深入探讨了大型语言模型（LLM）参数化知识的一个重要局限性，即错误归因。对相对较小的文本块进行自动作者归因是一项重要的 NLP 任务，但也具有挑战性。我们在零样本设置下实证评估了 3 个开源 SotA LLM 的能力（Gemma-7B、Mixtral 8x7B 和 LLaMA-2-13B）。我们根据 Project Gutenberg 获取了一个月内最受欢迎的前 10 本书，将每本书分成 400 词的等长文本块，并提示每个 LLM 预测作者。然后，基于 7% 的误差范围和 95% 的置信水平，我们为每本书随机抽取了 162 个文本块进行人工评估。平均结果表明，Mixtral 8x7B 的预测准确率最高，SHI 最低，Pearson 相关系数（r）分别为 0.724、0.263 和 -0.9996，其次是 LLaMA-2-13B 和 Gemma-7B。然而，Mixtral 8x7B 在 3 本书上存在高度幻觉，SHI 高达 0.87（在 0-1 范围内，1 为最差）。由 r 给出的准确率与 SHI 之间的强负相关表明了该新幻觉指标的保真度，该指标可能推广到其他任务。我们还表明，预测准确率与维基百科中该书籍标题实例的频率呈正相关，而非与下载量正相关，并且我们对预测进行了误差分析。我们公开发布了标注的文本块数据和代码，以辅助其他模型的可复现性和评估。
引用
@article{arxiv.2404.04631,
title = {On the Limitations of Large Language Models (LLMs): False Attribution},
author = {Tosin Adewumi and Nudrat Habib and Lama Alkhaled and Elisa Barney},
journal= {arXiv preprint arXiv:2404.04631},
year = {2025}
}
备注
This paper was accepted for presentation by Recent Advances in NLP (RANLP) 2025 conference