幻觉检测：基于嵌入距离分析的概率框架
计算与语言
2025-02-14 v1 人工智能
计算机与社会
摘要
幻觉是影响大语言模型（LLM）在生产系统中广泛应用的主要问题之一。虽然当前用于检测幻觉的研究解决方案主要基于启发式方法，但本文引入一种数学上严谨的方法来推理幻觉问题，并据此构建了一个检测工具。鉴于目前尚无类似工作，我们首次展示了幻觉内容相对于正确内容在结构上的差异。为证明此结果，我们采用嵌入空间中的闪可距离（Minkowski distances）。我们的发现表明，嵌入距离分布之间存在统计显著差异，且该差异具有尺度无关性——无论使用哪种距离范数，以及关键词、问题或响应的数量，都能定性地保持这种差异。我们利用这些结构差异开发了一个检测幻觉响应的工具，在特定系统参数配置下实现了66%的检测准确率——相当于该领域最佳结果之一。综上所述，本文提出的方法具有前景且具有创新性，可能为该领域的进一步研究指明了方向，包括我们在未来工作中所提及的方向。
引用
@article{arxiv.2502.08663,
title = {Hallucination Detection: A Probabilistic Framework Using Embeddings Distance Analysis},
author = {Emanuele Ricco and Lorenzo Cima and Roberto Di Pietro},
journal= {arXiv preprint arXiv:2502.08663},
year = {2025}
}