衡量词汇训练数据覆盖率对大语言模型幻觉检测的影响
计算与语言
2025-11-25 v1 人工智能
摘要
大语言模型（LLM）中的幻觉现象始终是一大挑战，尤其是在开放域问答场景中。已有研究尝试通过模型内部信号（如 token 级别的熵或生成一致性）来检测幻觉，而幻觉与预训练数据暴露之间的关联性却鲜有探讨。已有研究表明，LLM 在长尾知识上的表现不佳，即对于在预训练数据中稀有的真实实体，其生成答案的准确率会下降。然而，是否可以将数据覆盖率本身作为检测信号，尚未被关注。我们提出了一个补充性问题：问句和/或生成答案的词汇训练数据覆盖率是否为幻觉检测提供额外的信号？为此，我们在 RedPajama 的 130 亿 token 预训练语料上构建可扩展的后缀数组，以检索问句和模型生成文本的 n-gram 统计信息。我们在三个问答基准测试中评估了其对幻觉检测的有效性。我们的观察表明，虽然基于出现次数的特征单独使用时效果较弱，但在与对数概率结合时可带来适度提升，尤其是在模型内在不确定性较高的数据集上。这一发现表明，词汇覆盖率特征为幻觉检测提供了互补的信号。所有代码和后缀数组基础设施已提供于 https://github.com/WWWonderer/ostd。
引用
@article{arxiv.2511.17946,
title = {Measuring the Impact of Lexical Training Data Coverage on Hallucination Detection in Large Language Models},
author = {Shuo Zhang and Fabrizio Gotti and Fengran Mo and Jian-Yun Nie},
journal= {arXiv preprint arXiv:2511.17946},
year = {2025}
}