FactSelfCheck:面向大语言模型的事实级黑箱幻觉检测
机器学习
2026-02-02 v3 人工智能
计算与语言
摘要
大语言模型(LLMs)经常生成幻觉内容,在事实性至关重要的应用中构成重大挑战。现有的幻觉检测方法通常在句子级或段落级运行,我们提出 FactSelfCheck,一种新颖的零资源黑箱采样方法,能够实现细粒度的事实级检测。我们的方法将文本表示为可解释的知识图谱,由三元组形式的事实构成,相比传统方法能提供对内容事实性更清晰的洞察。通过分析多个 LLM 响应之间的事实一致性,我们在无需外部资源或训练数据的情况下计算细粒度的幻觉分数。评估表明,FactSelfCheck 在性能上与领先的句子级采样方法具有竞争力,同时提供更详细、更具可解释性的洞察。最显著的是,我们的事实级方法显著提升了幻觉修正效果,相比基线实现了 35.5% 的事实内容增加,而句子级的 SelfCheckGPT 仅带来 10.6% 的提升。我们检测的细粒度特性使得对幻觉内容的识别与修正更加精确。此外,我们还贡献了 FavaMultiSamples 这一新颖数据集,弥补了该领域缺乏第二个用于评估采样方法的数据集的空白。
引用
@article{arxiv.2503.17229,
title = {FactSelfCheck: Fact-Level Black-Box Hallucination Detection for LLMs},
author = {Albert Sawczyn and Jakub Binkowski and Denis Janiak and Bogdan Gabrys and Tomasz Kajdanowicz},
journal= {arXiv preprint arXiv:2503.17229},
year = {2026}
}
备注
Accepted for EACL 2026 (findings)