评估不确定性估计器在 LLM 幻觉中的相关性
计算与语言
2026-05-27 v1 人工智能
机器学习
机器学习
摘要
大型语言模型（LLM）容易产生幻觉现象，即与输入或训练数据无关的陈述，阻碍其可靠部署。与此同时，已提出许多不确定性估计（UE）方法，用于量化模型置信度，常被隐式地用作模型失效的代理指标。然而，uncertainty（不确定性）与幻觉之间的关系仍未得到充分刻画。本文提出了一项系统经验研究，系统性地考察了不确定性估计器与 LLM 幻觉之间的关联性。我们并不假设这种关联性，而是直接评估其何时以及在何种程度上成立。我们考虑了包括信息论、抽样基于和反省性估计器在内的多样化不确定性估计器集合，并在幻觉情景下检验其行为。我们的实验覆盖内在幻觉（违反输入忠实性）和外在幻觉（相对于训练数据不受支持的主张）两种类型，采用包括 RAGTruth 和 HalluLens 在内的四个互补基准。我们发现，关联性在变量且往往较弱，取决于幻觉类型以及所评估的 LLM。这些结果挑战了将不确定性直接用作幻觉信号的做法，并阐明了何时其提供可行信息。
引用
@article{arxiv.2605.27016,
title = {Evaluating the Relevance of Uncertainty Estimators for LLM Hallucination},
author = {Yedidia Agnimo and Anna Korba and Annabelle Blangero and Nicolas Chesneau and Karteek Alahari},
journal= {arXiv preprint arXiv:2605.27016},
year = {2026}
}
备注
35 pages, 7 figures, 9 tables