LLM 为何产生幻觉及如何获得（证据性）闭包：用于忠实自然语言生成的感知、内涵与外延学习
计算与语言
2023-10-25 v1 人工智能
摘要
我们表明，LLM 产生幻觉是因为其输出未被约束为与它们拥有证据的断言同义：我们将这一条件称为证据性闭包。在标准神经概率语言模型设定中，关于句子真假的资讯在统计上不可识别，因此无法被条件化以生成新字符串。我们随后展示如何约束 LLM 产生确实满足证据性闭包的输出。多模态 LLM 必须学习外部世界（感知学习）；必须学习从字符串到世界状态的映射（外延学习）；并且，为在证据体之外泛化时保持流畅性，必须学习从字符串到其同义词的映射（内涵学习）。单模态 LLM 的输出必须与已验证证据集中的字符串同义。最后，我们提出一种启发式流程 Learn-Babble-Prune，通过拒绝与 LLM 拥有证据的断言不同义的输出，从 LLM 产生忠实输出。
引用
@article{arxiv.2310.15355,
title = {Why LLMs Hallucinate, and How to Get (Evidential) Closure: Perceptual, Intensional, and Extensional Learning for Faithful Natural Language Generation},
author = {Adam Bouyamourn},
journal= {arXiv preprint arXiv:2310.15355},
year = {2023}
}