用于检测和纠正LLM幻觉的几何不确定性
摘要
大型语言模型在各种任务上展现出惊人的性能，但仍因幻觉问题而已知，生成对问题的不正确答案。不确定性量化被提出作为幻觉检测的策略，需要对全球不确定性(归因于一批响应)和局部不确定性(归因于单个响应)进行估计。虽然最近的黑盒方法在某种程度上取得了成功，但它们常常依赖于不相干的启发式或图论近似，缺乏统一的几何解释。我们提出了一种几何框架来解决这一问题，基于对以仅黑盒模型访问采样的响应批次进行原型分析。在全局层面，我们提出了几何体积(GV)，其衡量从响应嵌入中导出的原型的凸包体积。在局部层面，我们提出了几何怀疑(GLS)，其利用响应与这些原型之间的空间关系来排序可靠性，从而通过优先选择响应来实现幻觉减少。与依赖离散成对比较的先前方法不同，我们的方法提供了连续语义边界点，这在为单个响应归因可靠性时具有实用价值。实验表明，我们的方法在短形式问答数据集上表现与先前方法相当或更好，并在医疗数据集上取得优异成绩，因为在此类数据集中，幻觉的风险尤为关键。我们还通过证明凸包体积与熵之间的关系，提供了理论依据。
引用
@article{arxiv.2509.13813,
title = {Geometric Uncertainty for Detecting and Correcting Hallucinations in LLMs},
author = {Edward Phillips and Sean Wu and Soheila Molaei and Danielle Belgrave and Anshul Thakur and David Clifton},
journal= {arXiv preprint arXiv:2509.13813},
year = {2025}
}
备注
Revision. Clarified positioning as a unified geometric framework for global and local uncertainty in LLMs. Added baselines (Degree, Eccentricity) and expanded comparison to related methods. Included ablations (PCA dimension, number of archetypes, number of samples) and complexity analysis. Extended discussion of medical QA results and model-specific behaviour