LLM将永远产生幻觉，我们必须接受这一点
机器学习
2024-09-10 v1 机器学习
摘要
随着大型语言模型在各领域的普及，批判性地审视其固有局限性变得至关重要。本文论证了语言模型中的幻觉不仅是偶发性错误，更是这些系统的一个必然特征。我们证明，幻觉源于LLM的基本数学和逻辑结构。因此，不可能通过架构改进、数据集增强或事实核查机制来消除它们。我们的分析借鉴了计算理论和哥德尔第一不完备定理，该定理涉及停机问题、空性问题、接受性问题等问题的不可判定性。我们证明，LLM过程的每个阶段——从训练数据编译到事实检索、意图分类和文本生成——产生幻觉的概率都非零。本文引入了“结构性幻觉”的概念，将其视为这些系统的内在属性。通过确立幻觉的数学必然性，我们挑战了可以完全缓解幻觉的主流观念。
引用
@article{arxiv.2409.05746,
title = {LLMs Will Always Hallucinate, and We Need to Live With This},
author = {Sourav Banerjee and Ayushi Agarwal and Saloni Singla},
journal= {arXiv preprint arXiv:2409.05746},
year = {2024}
}