o1-Coder：面向编码的 o1 复现
软件工程
2024-12-11 v2 人工智能
摘要
技术报告介绍了 O1-CODER，这是对 OpenAI o1 模型的一种尝试，专注于编码任务。它集成了强化学习 (RL) 和蒙特卡洛树搜索 (MCTS) 以增强模型的 System-2 思维能力。该框架包括训练测试用例生成器 (TCG) 以进行标准化代码测试，使用 MCTS 生成带有推理过程的代码数据，并迭代微调策略模型以首先生成伪代码，然后生成完整代码。报告还讨论了在实际应用中部署 o1 类模型的机遇与挑战，建议过渡到 System-2 范式，并强调构建世界模型的必要性。后续版本将报告更新的模型进展和实验结果。所有源代码、精选数据集以及派生模型均已在 https://github.com/ADaM-BJTU/O1-CODER 上公开。
关键词
引用
@article{arxiv.2412.00154,
title = {o1-Coder: an o1 Replication for Coding},
author = {Yuxiang Zhang and Shangxi Wu and Yuqi Yang and Jiangming Shu and Jinlin Xiao and Chao Kong and Jitao Sang},
journal= {arXiv preprint arXiv:2412.00154},
year = {2024}
}