链路推理：通过多范式视角实现大语言模型中的统一数学推理
计算与语言
2025-09-05 v4
摘要
大型语言模型（LLMs）在数学推理方面取得了显著进展，但往往依赖单一范式推理，限制了其在多样化任务上的有效性。我们引入链路推理（Chain-of-Reasoning, CoR），一种新型统一框架，集成了多种推理范式——自然语言推理（Natural Language Reasoning, NLR）、算法推理（Algorithmic Reasoning, AR）和符号推理（Symbolic Reasoning, SR）——以实现协同协作。CoR 通过不同推理范式生成多个潜在答案，并综合synthesize成连贯的最终解决方案。我们提出了渐进式范式训练（Progressive Paradigm Training, PPT）策略，使模型逐步掌握这些范式，最终实现CoR-Math-7B。实验结果表明，CoR-Math-7B 在证明题中相较于当前SOTA模型提升了最高可达41.0%的绝对值，在算术任务上的MATH基准测试中相较于基于强化学习的方法提升了15.0%。这些结果显示出我们模型在数学理解能力的提升，使其能够在零样本条件下实现跨任务的泛化。
引用
@article{arxiv.2501.11110,
title = {Chain-of-Reasoning: Towards Unified Mathematical Reasoning in Large Language Models via a Multi-Paradigm Perspective},
author = {Yiyao Yu and Yuxiang Zhang and Dongdong Zhang and Xiao Liang and Hengyuan Zhang and Xingxing Zhang and Ziyi Yang and Mahmoud Khademi and Hany Awadalla and Junjie Wang and Yujiu Yang and Furu Wei},
journal= {arXiv preprint arXiv:2501.11110},
year = {2025}
}
备注
Accepted to ACL 2025 (Main)