中文

检测金融领域AI幻觉:信息论方法将幻觉率降低92%

机器学习 2025-12-04 v1 计算与语言 计算金融 机器学习

摘要

大语言模型(LLM)产生流畅但缺乏依据的回答——幻觉——限制了在高风险领域的安全部署。我们提出ECLIPSE框架,将幻觉视为模型语义熵与可用证据容量之间的不匹配。我们结合基于多样本聚类的熵估计与一种新颖的困惑度分解,用于衡量模型如何利用检索到的证据。我们证明,在温和条件下,由此产生的熵-容量目标是严格凸的,具有唯一的稳定最优解。我们在受控的金融问答数据集上对GPT-3.5-turbo(n=200,含合成幻觉的平衡样本)进行了评估,ECLIPSE实现了ROC AUC为0.89,平均精度为0.90,显著优于仅使用语义熵的基线(AUC 0.50)。与缺乏token级对数概率的Claude-3-Haiku进行的对照消融实验显示AUC降至0.59,系数幅度降低95%——证明ECLIPSE是一种原生对数概率机制,其有效性依赖于经过校准的token级不确定性。困惑度分解特征表现出最大的学习系数,确认了证据利用在幻觉检测中的核心地位。我们将这项工作定位为受控机制研究;跨领域和自然发生幻觉的更广泛验证仍是未来工作。

关键词

引用

@article{arxiv.2512.03107,
  title  = {Detecting AI Hallucinations in Finance: An Information-Theoretic Method Cuts Hallucination Rate by 92%},
  author = {Mainak Singha},
  journal= {arXiv preprint arXiv:2512.03107},
  year   = {2025}
}

备注

17 pages, 7 figures. Information-theoretic, hallucination detector for financial application. Feedback from researchers and practitioners is welcome