从平淡事实到尖锐幻觉：通过梯度敏感性检测顽固错误
机器学习
2026-05-13 v2 人工智能
摘要
传统的幻觉检测在“顽固幻觉”（即大语言模型自信地犯错的情况）上失效。我们提出了一种几何解决方案：嵌入扰动梯度敏感性（EPGS）。我们假设，稳健的事实位于平坦最小值，而顽固幻觉则位于尖锐最小值，由脆弱的记忆支撑。EPGS通过用高斯噪声扰动输入嵌入并测量梯度幅度的相应尖峰来检测这种尖锐性。这作为Hessian谱的有效代理，区分了稳定知识与不稳定记忆。我们的实验表明，EPGS显著优于基于熵和基于表示的基线，为检测高置信度事实错误提供了稳健的信号。
引用
@article{arxiv.2605.00939,
title = {From Flat Facts to Sharp Hallucinations: Detecting Stubborn Errors via Gradient Sensitivity},
author = {Yee Zhing Liew and Andrew Huey Ping Tan and Anwar P. P. Abdul Majeed},
journal= {arXiv preprint arXiv:2605.00939},
year = {2026}
}
备注
Accepted to ICML 2026. Camera-ready version