基于搜索与针对性精炼的机器学习工程智能体：MLE-STAR
机器学习
2025-08-29 v3
摘要
基于大语言模型（LLM）的机器学习工程（MLE）智能体可以自动通过代码生成实现ML模型。然而，现有的构建此类智能体方法往往过度依赖内在LLM知识，并采用粗糙的探索策略，对整个代码结构一次性修改。这限制了其选择有效任务特定模型的能力，以及在特定组件（如大量实验特征工程选项）内进行深入探索。为此，我们提出MLE-STAR，一种构建MLE智能体的新方法。MLE-STAR首先利用搜索引擎检索有效模型，形成初始解决方案，然后通过针对特定ML组件的多种策略进行迭代精炼。这种探索由分析单个代码块影响的消融研究指导。此外，我们引入一种新颖的集成方法，利用MLE-STAR所建议的有效策略。我们的实验结果表明，MLE-STAR在MLE-bench Lite上的64%比赛中获得奖牌，显著优于最佳替代方案。
引用
@article{arxiv.2506.15692,
title = {MLE-STAR: Machine Learning Engineering Agent via Search and Targeted Refinement},
author = {Jaehyun Nam and Jinsung Yoon and Jiefeng Chen and Jinwoo Shin and Sercan Ö. Arık and Tomas Pfister},
journal= {arXiv preprint arXiv:2506.15692},
year = {2025}
}