生成有效 CoT 轨迹以缓解因果幻觉
计算与语言
2026-04-15 v1
摘要
虽然大型语言模型（LLM）在复杂推理任务中表现出色，但在事件因果识别（ECI）方面会出现严重的因果幻觉，尤其是较小的模型（1.5B 参数）。一个有前景的解决方法是用链式思维（Chain-of-Thought，CoT）轨迹进行微调。然而，目前缺乏可用于 ECI 的 CoT 轨迹数据集。本文首先探讨了有效 CoT 轨迹应具备的基本准则，以缓解较小模型中的因果幻觉。我们随后设计了满足这些准则的 CoT 轨迹生成管道。此外，由于目前没有度量因果幻觉的指标，我们还引入了新的指标——因果幻觉率（Causal Hallucination Rate, CHR）——来量化因果幻觉、指导有效 CoT 轨迹准则的制定，并验证我们管道的有效性。我们的实验表明，使用我们管道生成的 CoT 轨迹进行微调不仅显著降低了较小 LLM 中的因果幻觉，还提高了平均准确率。此外，微调后的模型在跨数据集和跨难度推理方面表现出强大的泛化能力，以及在误导性干预提示下的鲁棒性。
引用
@article{arxiv.2604.12748,
title = {Generating Effective CoT Traces for Mitigating Causal Hallucination},
author = {Yiheng Zhao and Jun Yan},
journal= {arXiv preprint arXiv:2604.12748},
year = {2026}
}
备注
11 pages, 2 figures. Accepted at ACL 2026