R2E-Gym：用于扩大开源 SWE 代理的程序化环境与混合验证器
软件工程
2025-04-11 v1 计算与语言
机器学习
摘要
提高开源模型在真实世界 SWE 任务（解决 GITHUB 问题）上的表现，面临两个关键挑战：1）可扩展的训练环境 curated 方案，2）测试时计算的最优扩展。我们引入 AgentGym，这是目前规模最大的程序化 curated 可执行训练环境，用于训练真实世界的 SWE 代理，包含超过 8700 个任务。AgentGym 的核心贡献有两点：1）SYNGEN：一种合成数据 curated 配方，使可扩展地直接从提交中进行 test 生成和回译，从而减少对人工编写问题或单元测试的依赖。我们表明，这使得更可扩展的训练成为可能，在 32B 模型上在 SWE-Bench Verified 基准上实现了 34.4% 的 pass@1 性能。2）混合测试时扩展：我们深入分析了两种测试时扩展轴向；基于执行的和基于执行-free 验证器，证明它们具有互补的优势与局限。基于测试的验证器受限于区分度低，而基于执行-free 的验证器则受偏差影响，常依赖于风格化特征。意外地，我们发现，尽管每种方法单独使用约可达到 42-43%，但通过利用它们的互补优势，可获得显著更大的收益。总体而言，我们的方法在 SWE-Bench Verified 基准上实现了 51%，为开源 SWE 代理树立了新的最高成绩，并首次显示出与专有模型如 o1、o1-preview 和 sonnet-3.5-v2（带工具）相竞争的性能。我们将开源环境、模型和代理轨迹。
引用
@article{arxiv.2504.07164,
title = {R2E-Gym: Procedural Environments and Hybrid Verifiers for Scaling Open-Weights SWE Agents},
author = {Naman Jain and Jaskirat Singh and Manish Shetty and Liang Zheng and Koushik Sen and Ion Stoica},
journal= {arXiv preprint arXiv:2504.07164},
year = {2025}
}
备注
Website: https://r2e-gym.github.io/