HD-NDEs：用于 LLM 幻觉检测的神经微分方程
计算与语言
2025-06-03 v1 人工智能
机器学习
摘要
近年来，大型语言模型（LLM）取得了显著进展，但幻觉问题（即模型产生不准确或非事实性陈述）仍是实际部署面临的重大挑战。尽管当前基于分类的方法（如 SAPLMA）在缓解幻觉方面非常高效，但当非事实信息出现在输出的序列早期或中期时，它们往往表现不佳，降低了其可靠性。为了解决这些问题，我们提出了幻觉检测-神经微分方程（HD-NDEs），这是一种通过捕获 LLM 在其潜空间中的完整动力学来系统评估陈述真实性的新方法。我们的方法应用神经微分方程来建模 LLM 潜空间中的动态系统。然后，将潜空间中的序列映射到分类空间以进行真实性评估。在五个数据集和六个广泛使用的 LLM 上进行的大量实验证明了 HD-NDEs 的有效性，特别是在 True-False 数据集上，与最先进的技术相比，AUC-ROC 提升了 14% 以上。
引用
@article{arxiv.2506.00088,
title = {HD-NDEs: Neural Differential Equations for Hallucination Detection in LLMs},
author = {Qing Li and Jiahui Geng and Zongxiong Chen and Derui Zhu and Yuxia Wang and Congbo Ma and Chenyang Lyu and Fakhri Karray},
journal= {arXiv preprint arXiv:2506.00088},
year = {2025}
}