幻觉不可避免，但可使其在统计意义上忽略不计
计算与语言
2026-05-18 v3 形式语言与自动机理论
机器学习
统计理论
机器学习
统计理论
摘要
幻觉现象——即语言模型（LM）生成非事实内容——是实际部署大型语言模型面临的重大挑战。尽管已提出诸多经验方法来缓解幻觉，但近期研究通过计算理论证明了任何语言模型在任意数量的训练数据集和语言模型架构、训练和推理算法选择下，都会在无限输入集合上必然生成幻觉。这一计算理论结果看似悲观，但其在实际应用层面的意义尚不明确。本文主张，这些来自计算理论和对角论证的“先天”必然性结果，原则上无法解释LLM的实际问题。我们通过概率视角提出积极理论结果来予以驳斥。具体而言，我们证明，只要训练数据的质量和数量得到充分保障，幻觉即可被压制至统计意义上可忽略。有趣的是，我们的积极结果与计算理论结果并存，表明尽管在无限输入集合上无法完全消除幻觉，但可以通过改进算法和训练数据随时降低其发生概率。我们通过信息论视角评估这两类看似矛盾的结果，认为概率论正向结果更能反映实际考量。
引用
@article{arxiv.2502.12187,
title = {Hallucinations are inevitable but can be made statistically negligible},
author = {Atsushi Suzuki and Yulan He and Feng Tian and Zhongyuan Wang},
journal= {arXiv preprint arXiv:2502.12187},
year = {2026}
}