RethinkMCTS：在蒙特卡洛树搜索中修正错误推理以生成代码
软件工程
2025-10-27 v2 计算与语言
摘要
树搜索方法在代码生成中已展现出令人瞩目的性能。先前的方法将树搜索与总结过去错误的反思相结合，以实现迭代改进。然而，这些方法面临重大挑战。首先，它们直接在代码语言空间中进行搜索，忽略了对于有效代码生成至关重要的底层推理过程。其次，基于反思的方法仅仅在记忆中累积历史错误，而没有提供正确的推理路径，这使得后续搜索迭代难以识别最优解，导致搜索质量下降。在这项工作中，我们提出了RethinkMCTS，一个系统性地探索和优化代码生成推理过程的框架。具体来说，我们采用MCTS在代码生成之前搜索思路，并将MCTS与一种称为“rethink”的修正机制相结合，该机制在搜索过程中引入细粒度的代码执行反馈来修正错误的思路。它确保搜索路径与更好的推理对齐，从而提升整体搜索质量。通过大量实验，我们证明RethinkMCTS优于先前基于搜索和基于反馈增强的代码生成基线方法。
引用
@article{arxiv.2409.09584,
title = {RethinkMCTS: Refining Erroneous Thoughts in Monte Carlo Tree Search for Code Generation},
author = {Qingyao Li and Wei Xia and Kounianhua Du and Xinyi Dai and Ruiming Tang and Yasheng Wang and Yong Yu and Weinan Zhang},
journal= {arXiv preprint arXiv:2409.09584},
year = {2025}
}