大型语言模型幻觉的理论基础与缓解措施
计算与语言
2025-08-01 v1 人工智能
摘要
大型语言模型（LLM）中的幻觉指生成内容不忠实于输入或现实世界事实。本文对LLM中的幻觉进行系统性理论阐述，包括形式化定义和理论分析。我们区分了内在幻觉与外在幻觉，并定义了模型的“幻觉风险”。我们使用学习理论框架（PAC-Bayes 和 Rademacher 复杂度）对该风险进行上界推导。随后，我们调查了幻觉检测策略，如基于标记的不确定性估计、置信度校准和注意力对齐检查。就缓解措施而言，我们讨论了包括检索增强生成、幻觉感知微调、logit校准以及fact-verification模块的集成等方法。我们提出了统一的检测与缓解工作流程，并提供示意图以便整合这些策略。最后，我们概述了幻觉评估协议，推荐数据集、指标和实验设置以量化和减少幻觉。我们的工作为解决LLM中至关重要的幻觉问题提供了理论基础和实用指南。
引用
@article{arxiv.2507.22915,
title = {Theoretical Foundations and Mitigation of Hallucination in Large Language Models},
author = {Esmail Gumaan},
journal= {arXiv preprint arXiv:2507.22915},
year = {2025}
}
备注
12 pages