CMCTS：面向大型语言模型数学推理的约束蒙特卡洛树搜索框架
计算与语言
2025-06-17 v2
摘要
本文提出了约束蒙特卡洛树搜索（CMCTS）框架，以增强大型语言模型（LLM）的数学推理能力。通过引入约束动作空间、过程奖励模型（PRM）和偏序规则，CMCTS 有效解决了现有 MCTS 方法在状态空间多样性和动作选择合理性方面的局限。具体而言，在扩展阶段，CMCTS 将动作采样限制在预定义的约束动作集中，以增加候选状态多样性。在模拟阶段，它引入偏序规则和 PRM 来优化动作选择并防止不合理的状态转换。实验结果表明，CMCTS 在多个数学推理基准上表现出色。在零样本设置下，7B 参数模型实现了平均 83.4% 的准确率，超越了 72B 基线模型 4.8%。消融研究表明，框架的每个组件对性能提升都至关重要，它们的联合使用充分发挥了各自的优势。总体而言，CMCTS 框架为增强 LLM 数学推理能力提供了有效方法，并得到了理论分析的支持，为未来的推理任务提供了新的见解。
引用
@article{arxiv.2502.11169,
title = {CMCTS: A Constrained Monte Carlo Tree Search Framework for Mathematical Reasoning in Large Language Model},
author = {Qingwen Lin and Boyan Xu and Guimin Hu and Zijian Li and Zhifeng Hao and Keli Zhang and Ruichu Cai},
journal= {arXiv preprint arXiv:2502.11169},
year = {2025}
}