Seed-CTS：释放树搜索的威力以在竞赛级代码任务中取得卓越性能
人工智能
2024-12-31 v2 软件工程
摘要
竞赛级代码生成任务对当前最先进的大型语言模型构成了重大挑战。例如，在 LiveCodeBench-Hard 数据集上，O1-Mini 和 O1-Preview 等模型的 pass@1 率分别仅为 0.366 和 0.143。尽管树搜索技术已在数学和通用编程等领域证明有效，但其在竞赛级代码生成中的潜力仍未被充分探索。在本工作中，我们提出了一种专为代码生成设计的新型 token 级树搜索方法。利用 Qwen2.5-Coder-32B-Instruct，我们的方法在 LiveCodeBench-Hard 上达到了 0.305 的通过率，超越了 GPT4o-0513 的 pass@100 表现（0.245）。此外，通过整合思维链提示，我们将该方法的性能提升至 0.351，接近 O1-Mini 的 pass@1 率。为了保证可复现性，我们报告了我们的树搜索方法在测试集上每个问题所需的平均生成次数。我们的发现强调了树搜索在显著提升竞赛级代码生成任务性能方面的潜力。这为大规模合成挑战性代码问题的监督微调数据开启了新的可能性，从而推动竞赛级代码生成任务的发展。
引用
@article{arxiv.2412.12544,
title = {Seed-CTS: Unleashing the Power of Tree Search for Superior Performance in Competitive Coding Tasks},
author = {Hao Wang and Boyi Liu and Yufeng Zhang and Jie Chen},
journal= {arXiv preprint arXiv:2412.12544},
year = {2024}
}