CoT-RAG：将链式思考与检索增强生成集成以提升大语言模型中的推理能力
计算与语言
2025-09-11 v3 人工智能
摘要
链式思考（CoT）推理可提升大语言模型（LLM）在复杂任务上的性能，但存在两个关键局限性：仅依赖LLM生成的推理链时可靠性不足，以及自然语言提示相较于代码提示时的推理性能较低。为此，我们提出CoT-RAG，一个具有三项关键设计的新型推理框架：（i）知识图谱驱动的CoT生成，利用知识图谱调制LLM的推理链生成，从而增强推理可信度；（ii）感知学习型知识案例感知RAG，将检索增强生成（RAG）融入知识图谱，以检索相关子案例和子描述，为LLM提供可学习的信息；（iii）伪程序式提示执行，通过引导LLM以伪程序方式执行推理任务以实现更严谨的逻辑。我们在覆盖三类推理任务的九个公开数据集上的评估显示，相较于最先进的方法，准确率提升幅度达4.0%至44.3%。此外，针对四个领域特定数据集的测试表明，其准确率优异且执行效率高，凸显了实际应用可行性和可扩展性。我们的代码与数据已提供于 https://github.com/hustlfy123/CoT-RAG。
引用
@article{arxiv.2504.13534,
title = {CoT-RAG: Integrating Chain of Thought and Retrieval-Augmented Generation to Enhance Reasoning in Large Language Models},
author = {Feiyang Li and Peng Fang and Zhan Shi and Arijit Khan and Fang Wang and Weihao Wang and Xin Zhang and Yongjian Cui},
journal= {arXiv preprint arXiv:2504.13534},
year = {2025}
}