通过基于时序逻辑的推理增强 LLM 事实冲突幻觉检测
计算与语言
2025-02-20 v1
摘要
大语言模型（LLM）面临幻觉的挑战——输出看似连贯但实际上是不正确的。一种特别具有破坏性的类型是事实冲突幻觉（FCH），即生成的内容与既定事实相矛盾。解决 FCH 面临三个主要挑战：1）自动构建和维护大规模基准数据集困难且耗费大量资源；2）生成 LLM 未训练过的复杂且高效的测试用例——尤其是那些涉及复杂时序特征的用例——具有挑战性，但对于引出幻觉至关重要；3）验证 LLM 输出背后的推理本身就困难，特别是在具有复杂逻辑关系的情况下，因为这需要模型决策过程的透明度。本文提出了 Drowzee，一个创新的端到端蜕变测试框架，利用时序逻辑来识别大语言模型（LLM）中的事实冲突幻觉（FCH）。Drowzee 通过抓取维基百科等来源构建了全面的事实知识库，并使用自动化时序逻辑推理将这些知识转化为一个包含真实答案的、大型的、可扩展的测试用例集。LLM 通过基于模板的提示使用这些用例进行测试，要求它们生成答案和推理步骤。为了验证推理，我们提出了两个语义感知预言机，将 LLM 输出的语义结构与真实答案进行比较。在九个不同知识领域的九个 LLM 上，实验结果表明，Drowzee 有效地识别了从 24.7% 到 59.8% 的非时序相关幻觉率，以及从 16.7% 到 39.2% 的时序相关幻觉率。
引用
@article{arxiv.2502.13416,
title = {Detecting LLM Fact-conflicting Hallucinations Enhanced by Temporal-logic-based Reasoning},
author = {Ningke Li and Yahui Song and Kailong Wang and Yuekang Li and Ling Shi and Yi Liu and Haoyu Wang},
journal= {arXiv preprint arXiv:2502.13416},
year = {2025}
}
备注
16 pages, under review. arXiv admin note: substantial text overlap with arXiv:2405.00648