MLE-Dojo：赋能机器学习工程中 LLM 代理的交互式环境
机器学习
2025-05-13 v1
摘要
我们介绍了 MLE-Dojo，一个类似 Gym 的框架，用于系统化地强化学习、评估和改进大型语言模型(LLM)代理在迭代机器学习工程(MLE)工作流程中的表现。不同于依赖静态数据集或单次评估的现有基准，MLE-Dojo 提供了交互式环境，使代理能够通过结构化反馈循环进行迭代实验、调试和细化方案。基于 200 多个真实世界 Kaggle 挑战构建，MLE-Dojo 涵盖 diverse、开放式的 MLE 任务，这些任务精心挑选以反映真实工程场景，如数据处理、架构搜索、超参数调优和代码调试。其完整可执行环境支持通过监督微调和强化学习进行代理训练，促进迭代实验、真实数据抽样和实时结果验证。对八个前沿 LLM 的广泛评估显示，虽然当前模型实现了有意义的迭代改进，但仍在自主生成长期解决方案和高效解决复杂错误方面存在显著局限。此外，MLE-Dojo 的灵活可扩展架构无缝集成多样化的数据源、工具和评估协议，独特地支持模型驱动的代理调优，促进互操作性、可扩展性和可重复性。我们开源了框架和基准，以培育社区创新，面向下一代 MLE 代理。
引用
@article{arxiv.2505.07782,
title = {MLE-Dojo: Interactive Environments for Empowering LLM Agents in Machine Learning Engineering},
author = {Rushi Qiang and Yuchen Zhuang and Yinghao Li and Dingu Sagar V K and Rongzhi Zhang and Changhao Li and Ian Shu-Hei Wong and Sherry Yang and Percy Liang and Chao Zhang and Bo Dai},
journal= {arXiv preprint arXiv:2505.07782},
year = {2025}
}