FastMCTS：数据合成的一种简单抽样策略
计算与语言
2025-07-22 v2
摘要
合成的高质量多步骤推理数据可以显著提升大语言模型在各类任务上的性能。然而，大多数现有方法依赖于拒绝抽样，该方法独立生成轨迹，存在效率低下和难度不同的问题抽样不均等问题。在本工作中，我们引入FastMCTS，这是一种受蒙特卡洛树搜索启发的数据合成策略。FastMCTS为多步骤推理数据提供了更高效的抽样方法，提供步骤级别的评估信号，促进不同难度问题之间的平衡抽样。在英文和中文推理数据集上进行实验，表明FastMCTS在生成的标记数增加时，相较于拒绝抽样生成的正确推理路径多出30%以上。此外，在相当相同的合成数据预算下，基于FastMCTS生成的数据训练的模型在多个基准测试上优于基于拒绝抽样数据训练的模型3.9%。作为一种轻量级抽样策略，FastMCTS为合成高质量推理数据提供了一种实用且高效的替代方案。我们的代码将很快公开。
引用
@article{arxiv.2502.11476,
title = {FastMCTS: A Simple Sampling Strategy for Data Synthesis},
author = {Peiji Li and Kai Lv and Yunfan Shao and Yichuan Ma and Linyang Li and Xiaoqing Zheng and Xipeng Qiu and Qipeng Guo},
journal= {arXiv preprint arXiv:2502.11476},
year = {2025}
}
备注
Accepted to ACL 2025 Main Conference