可解释对比蒙特卡洛树搜索推理
计算与语言
2024-12-30 v3 人工智能
摘要
我们提出 SC-MCTS*：一种新的蒙特卡洛树搜索 (MCTS) 推理算法，用于大型语言模型 (LLM)，显著提高推理准确率和速度。我们的动机来自：1. 先前的 MCTS LLM 推理工作常忽视其最大劣势——相对于 CoT 的较慢速度；2. 先前的研究主要将 MCTS 作为 LLM 在各种任务上进行推理的工具，缺乏对其组件从推理可解释性角度的定量分析或消融研究；3. 奖励模型是 MCTS 中最关键的组件，但先前工作很少对 MCTS 的奖励模型进行深入研究或改进。因此，我们对 MCTS 的各个组件进行了大量消融研究和定量分析，揭示了每个组件对 LLM MCTS 推理性能的影响。基于此，(i) 我们设计了一个基于对比解码原则的高度可解释奖励模型；(ii) 实现了每个节点约 51.9% 的速度提升；此外，(iii) 我们改进了之前工作中使用的 UCT 节点选择策略和反向传播方法，显著提升了性能。我们使用 Llama-3.1-70B 在 Blocksworld 多步骤推理数据集上测试，SC-MCTS* 相较于 o1-mini 平均提高 17.4%。我们的代码已公开 https://github.com/zitian-gao/SC-MCTS。
引用
@article{arxiv.2410.01707,
title = {Interpretable Contrastive Monte Carlo Tree Search Reasoning},
author = {Zitian Gao and Boye Niu and Xuzheng He and Haotian Xu and Hongzhang Liu and Aiwei Liu and Xuming Hu and Lijie Wen},
journal= {arXiv preprint arXiv:2410.01707},
year = {2024}
}