CSCE:通过同时增强因果显著性和一致性来提升 LLM 推理能力
计算与语言
2025-03-25 v3 人工智能
摘要
链式推理方法如思维链(CoT)在解决大型语言模型(LLM)的推理任务中发挥着日益重要的作用,但思维链推理步骤与相应状态转换之间的因果幻觉正在成为阻碍 LLM 推理能力进步的重要障碍,尤其是在长程推理任务中。本文提出了一种非链式推理框架,同时考虑因果显著性和一致性,即因果显著性和一致性增强器(CSCE)。我们定制 LLM 的损失函数,利用处理效应评估从两个方面增强其推理能力:因果显著性和一致性。这确保模型捕获关键因果关系,并在各种情景中保持稳健且一致的性能。此外,我们将推理过程从链式方法如 CoT 常见的多步骤推理转化为一次性输出整个推理过程的因果增强方法,进一步提高了模型的推理效率。广泛的实验表明,我们的方法提高了推理成功率和速度,这些改进进一步证明了非链式方法也能帮助 LLM 完成推理任务。
引用
@article{arxiv.2409.17174,
title = {CSCE: Boosting LLM Reasoning by Simultaneous Enhancing of Causal Significance and Consistency},
author = {Kangsheng Wang and Xiao Zhang and Juntao Lyu and Tianyu Hu and Huimin Ma},
journal= {arXiv preprint arXiv:2409.17174},
year = {2025}
}
备注
6 pages,4 figures. This paper has been accepted for presentation at IEEE International Conference on Multimedia & Expo 2025