通过显式推理结构降低LLM幻觉
计算与语言
2026-01-08 v1
摘要
为缓解大语言模型（LLM）中的幻觉问题，我们提出一种框架，聚焦于由提示词引起的错误。我们的方法扩展了基于链式知识蒸馏的方法，通过融入可编程模块引导知识图谱探索。该模块作为可执行代码嵌入推理提示中，使模型能够在推理过程中利用外部结构化知识。基于此设计，我们开发了增强型蒸馏式推理框架，显式调节中间推理步骤，从而获得更可靠的预测。我们在多个公开基准测试中使用GPT-4和LLaMA-3.3进行评估。实验结果表明，代码引导的推理显著提升了情境建模，降低了由提示词引起的幻觉。具体而言，HIT@1、HIT@3和HIT@5分别提升了15.64%、13.38%和13.28%，在多个评估场景中得分超过95%。这些发现表明，所提方法有效约束了错误推理，同时提升了准确性和可解释性。
引用
@article{arxiv.2601.04086,
title = {KDCM: Reducing Hallucination in LLMs through Explicit Reasoning Structures},
author = {Jinbo Hao and Kai Yang and Qingzhen Su and Yifan Li and Chao Jiang},
journal= {arXiv preprint arXiv:2601.04086},
year = {2026}
}