CWM：用于基于世界模型的代码生成研究的开放权重 LLM
软件工程
2025-10-13 v1 人工智能
机器学习
摘要
我们发布了 Code World Model（CWM），一个拥有 320 亿参数的开放权重 LLM，以推进基于世界模型的代码生成研究。为了超越仅从静态代码训练中获得的代码理解能力，我们在 CWM 的中期训练阶段使用了大量来自 Python 解释器和智能体 Docker 环境的观测-动作轨迹，并在可验证的编码、数学和多轮软件工程环境中进行了广泛的多任务推理强化学习。借助 CWM，我们为研究人员提供了一个强大的测试平台，以探索世界建模在通过计算环境中的推理和规划来改进代码生成方面所提供的机遇。我们展示了世界模型如何有益于智能体编码的初步步骤，实现了 Python 代码执行的逐步模拟，并展示了推理如何从后者中受益的早期结果。CWM 是一个密集的、仅包含解码器的 LLM，训练时的上下文大小高达 131k 个 token。独立于其世界建模能力，CWM 在通用编码和数学任务上表现出色：在 SWE-bench Verified 上达到 65.8% 的 pass@1 分数（带有测试时扩展），在 LiveCodeBench 上达到 68.6%，在 Math-500 上达到 96.6%，在 AIME 2024 上达到 76.0%。为了支持代码世界建模的进一步研究，我们发布了中期训练、SFT 和 RL 之后的模型检查点。
引用
@article{arxiv.2510.02387,
title = {CWM: An Open-Weights LLM for Research on Code Generation with World Models},
author = {FAIR CodeGen team and Jade Copet and Quentin Carbonneaux and Gal Cohen and Jonas Gehring and Jacob Kahn and Jannik Kossen and Felix Kreuk and Emily McMilin and Michel Meyer and Yuxiang Wei and David Zhang and Kunhao Zheng and Jordi Armengol-Estapé and Pedram Bashiri and Maximilian Beck and Pierre Chambon and Abhishek Charnalia and Chris Cummins and Juliette Decugis and Zacharias V. Fisches and François Fleuret and Fabian Gloeckle and Alex Gu and Michael Hassid and Daniel Haziza and Badr Youbi Idrissi and Christian Keller and Rahul Kindi and Hugh Leather and Gallil Maimon and Aram Markosyan and Francisco Massa and Pierre-Emmanuel Mazaré and Vegard Mella and Naila Murray and Keyur Muzumdar and Peter O'Hearn and Matteo Pagliardini and Dmitrii Pedchenko and Tal Remez and Volker Seeker and Marco Selvi and Oren Sultan and Sida Wang and Luca Wehrstedt and Ori Yoran and Lingming Zhang and Taco Cohen and Yossi Adi and Gabriel Synnaeve},
journal= {arXiv preprint arXiv:2510.02387},
year = {2025}
}
备注
58 pages