中文

CSCE:通过同时增强因果显著性和一致性来提升 LLM 推理能力

计算与语言 2025-03-25 v3 人工智能

摘要

链式推理方法如思维链(CoT)在解决大型语言模型(LLM)的推理任务中发挥着日益重要的作用,但思维链推理步骤与相应状态转换之间的因果幻觉正在成为阻碍 LLM 推理能力进步的重要障碍,尤其是在长程推理任务中。本文提出了一种非链式推理框架,同时考虑因果显著性和一致性,即因果显著性和一致性增强器(CSCE)。我们定制 LLM 的损失函数,利用处理效应评估从两个方面增强其推理能力:因果显著性和一致性。这确保模型捕获关键因果关系,并在各种情景中保持稳健且一致的性能。此外,我们将推理过程从链式方法如 CoT 常见的多步骤推理转化为一次性输出整个推理过程的因果增强方法,进一步提高了模型的推理效率。广泛的实验表明,我们的方法提高了推理成功率和速度,这些改进进一步证明了非链式方法也能帮助 LLM 完成推理任务。

关键词

引用

@article{arxiv.2409.17174,
  title  = {CSCE: Boosting LLM Reasoning by Simultaneous Enhancing of Causal Significance and Consistency},
  author = {Kangsheng Wang and Xiao Zhang and Juntao Lyu and Tianyu Hu and Huimin Ma},
  journal= {arXiv preprint arXiv:2409.17174},
  year   = {2025}
}

备注

6 pages,4 figures. This paper has been accepted for presentation at IEEE International Conference on Multimedia & Expo 2025