关于大型语言模型在已知事实上的幻觉现象
计算与语言
2024-10-29 v2 机器学习
摘要
大型语言模型在回答事实性问题方面很成功，但也容易产生幻觉。我们从推理动力学的角度研究LLM拥有正确答案知识却仍然产生幻觉的现象，这是先前关于幻觉的研究未涉及的领域。我们通过两个关键思路得以进行此分析。首先，我们识别出那些查询相同三元组知识但导致不同答案的事实性问题。因此，模型在正确和错误输出上的行为差异揭示了幻觉发生时的模式。其次，为了衡量这种模式，我们利用从残差流到词汇空间的映射。我们揭示了在正确和幻觉情况下，输出token概率沿层深的不同动态。在幻觉情况下，输出token的信息很少在模型后期表现出突然增加和持续优势。利用动态曲线作为特征，我们构建了一个分类器，能够以88%的成功率准确检测幻觉预测。我们的研究有助于理解LLM在其已知事实上产生幻觉的原因，更重要的是，有助于准确预测它们何时会产生幻觉。
引用
@article{arxiv.2403.20009,
title = {On Large Language Models' Hallucination with Regard to Known Facts},
author = {Che Jiang and Biqing Qi and Xiangyu Hong and Dayuan Fu and Yang Cheng and Fandong Meng and Mo Yu and Bowen Zhou and Jie Zhou},
journal= {arXiv preprint arXiv:2403.20009},
year = {2024}
}
备注
Accepted by NAACL 2024 MainConference