面向大语言模型的幻觉检测与事实核查统一框架
计算与语言
2025-12-03 v1 信息检索
摘要
大语言模型（LLM）经常出现幻觉现象，即生成看似流畅连贯但事实错误的内容。这类错误削弱了信任度，阻碍了其在实际应用中的采用。为应对这一挑战，两个独立的研究范式已浮现：以模型为中心的幻觉检测（HD）和以文本为中心的事实核查（FV）。尽管目标相同，但这两个范式在假设、数据集和评估协议上存在分离，导致整体进步受阻。本文采取决定性步骤，致力于弥合这一鸿沟。我们引入 UniFact，一个统一的评估框架，使 FV 与 HD 能实现直接、逐实例的比较，通过动态生成模型输出和相应的事实正确性标签。在多个 LLM 家族和检测方法的大规模实验中，我们揭示了三个关键发现：（1）没有单一方法在所有情境下均优于另一种；（2）HD 与 FV 捕捉事实错误的不同维度；（3）集成两种方法的混合方法始终实现最佳性能。除基准测试外，我们提供了对 FV 与 HD 差异原因的首次深入分析，并提供实证证据支持其统一化的必要性。综合实验结果呼吁建立新的、集成的研究议程，以统一大语言模型中的幻觉检测与事实核查。我们已开源所有代码、数据和基线实现，地址为：https://github.com/oneal2000/UniFact/。
引用
@article{arxiv.2512.02772,
title = {Towards Unification of Hallucination Detection and Fact Verification for Large Language Models},
author = {Weihang Su and Jianming Long and Changyue Wang and Shiyu Lin and Jingyan Xu and Ziyi Ye and Qingyao Ai and Yiqun Liu},
journal= {arXiv preprint arXiv:2512.02772},
year = {2025}
}