大语言模型幻觉综述：原理、分类、挑战与开放问题
计算与语言
2024-11-20 v2
摘要
大语言模型（LLMs）的出现标志着自然语言处理（NLP）领域的重大突破，推动了信息获取范式的转变。然而，LLMs 易于产生幻觉，生成看似合理却非事实的内容。该现象引发了人们对 LLMs 在真实世界信息检索（IR）系统中可靠性的重大担忧，并吸引了大量研究来检测与缓解此类幻觉。鉴于 LLMs 固有的开放式通用属性，LLM 幻觉呈现出不同于先前任务特定模型的独特挑战。这一差异凸显了细致理解与全面概述 LLM 幻觉近期进展的紧迫性。在本综述中，我们从 LLM 时代幻觉的创新分类法入手，随后深入探讨导致幻觉的因素。接着，我们全面概述幻觉检测方法与时序基准。我们的讨论随后转向缓解 LLM 幻觉的代表性方法。此外，我们深入探讨了检索增强 LLMs 在对抗幻觉方面面临的当前局限，为开发更鲁棒的 IR 系统提供见解。最后，我们强调了 LLM 幻觉方面大有可为的研究方向，包括大型视觉-语言模型中的幻觉以及 LLM 幻觉中知识边界的理解。
引用
@article{arxiv.2311.05232,
title = {A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions},
author = {Lei Huang and Weijiang Yu and Weitao Ma and Weihong Zhong and Zhangyin Feng and Haotian Wang and Qianglong Chen and Weihua Peng and Xiaocheng Feng and Bing Qin and Ting Liu},
journal= {arXiv preprint arXiv:2311.05232},
year = {2024}
}
备注
Accepted by ACM Transactions on Information Systems (TOIS)