自动化 MLOps 代码适应 -- 针对大语言模型的基准测试研究
摘要
本文探讨了当前大型语言模型在将 Machine Learning Operations (MLOps) 功能集成到 ML 训练代码库中的可能性。我们评估了 OpenAI (gpt-3.5-turbo) 和 WizardCoder (开源，15B 参数) 模型在不同设置下完成各种 MLOps 功能的自动化能力。我们进行了基准测试研究，评估这些模型在以下任务方面的能力：(1) 将现有代码片段适配（内联）以集成特定于组件的 MLOps 功能，例如用于实验跟踪的 MLflow 和 Weights & Biases，用于超参数优化的 Optuna 等；(2) 执行从一种 MLOps 功能组件转换到另一种组件的翻译任务，例如将基于 GitPython 库的版本控制代码转换为基于 Data Version Control 库的代码。我们还提出了三种不同的方法，通过教导 LLM 理解组件的 API 文档作为参考来完成翻译任务。在我们的评估中，gpt-3.5-turbo 模型在模型优化 (55% 相对于 WizardCoder 的 0%)、实验跟踪 (100% 相对于 WizardCoder 的 62.5%)、模型注册 (92% 相对于 WizardCoder 的 42%) 和超参数优化 (83% 相对于 WizardCoder 的 58%) 中在其最佳可能设置下的平均 Pass@3 准确率显著优于 WizardCoder，展示了其在复杂 MLOps 任务中卓越的代码适应性能。
引用
@article{arxiv.2405.06835,
title = {Automating Code Adaptation for MLOps -- A Benchmarking Study on LLMs},
author = {Harsh Patel and Buvaneswari A. Ramanan and Manzoor A. Khan and Thomas Williams and Brian Friedman and Lawrence Drabeck},
journal= {arXiv preprint arXiv:2405.06835},
year = {2024}
}
备注
The work was completed during 2Q, 3Q of Year 2023, when WizardCoder was the top performing Open source LLM for coding. Newer and better models have emerged since then. The processes and methodologies utilized for this benchmarking can still be utilized for evaluating the current SoTA models