通过因果推理消除大型语言模型中的幻觉
计算与语言
2025-11-13 v2 人工智能
机器学习
摘要
大型语言模型 (LLM) 表现出逻辑上不一致的幻觉现象，这些现象看似连贯却违背推理原则。近期研究表明，因果推理能力与此类幻觉呈现反相关关系。然而，现有 LLM 中的推理方法，如链式思维 (Chain-of-Thought, CoT) 及其图结构变体，仅 operates 在语言标记层面，而未建模变量之间的底层因果关系，缺乏表示条件独立性或满足因果识别假设的能力。为弥合这一差距，我们引入因果-DAG 构建与推理 (Causal-DAG Construction and Reasoning, CDCR-SFT)，一种监督式微调框架，训练 LLM 显式构建变量级有向无环图 (DAG) 并在其上进行推理。此外，我们构建了一个包含 25,368 个样本的数据集 (CausalDR)，其中每个样本包括输入问题、显式因果 DAG、基于图的推理轨迹以及经验证的答案。实验在八个任务中对四个 LLM 进行测试，显示 CDCR-SFT 在 CLADDER 上达成 95.33% 的准确率（首次超越人类水平 94.8%），并通过 10% 的改进显著降低 HaluEval 上的幻觉率。这表明在 LLM 中显式建模因果结构可有效缓解 LLM 输出中的逻辑不一致问题。代码已公开于 https://github.com/MrLYG/CDCR-SFT。
引用
@article{arxiv.2508.12495,
title = {Mitigating Hallucinations in Large Language Models via Causal Reasoning},
author = {Yuangang Li and Yiqing Shen and Yi Nian and Jiechao Gao and Ziyi Wang and Chenxiao Yu and Shawn Li and Jie Wang and Xiyang Hu and Yue Zhao},
journal= {arXiv preprint arXiv:2508.12495},
year = {2025}
}