AutoScout：用于自动化 ML 系统配置的结构化优化
机器学习
2026-03-13 v1
摘要
机器学习 (ML) 系统暴露出一个快速扩张的配置空间，涵盖模型并行策略、通信优化和低级运行时参数。端到端系统效率对这些选择极其敏感，但由于异构特征类型（如稀疏和稠密参数）、条件依赖（例如仅在特定上游决策下才有效的执行参数）以及高搜索（轮廓）成本，确定高性能配置具有挑战性。现有方法要么优化配置维度的狭窄子集，要么依赖无法随配置空间持续增长而概括的经验法则。我们提出 AutoScout，一个通用于 ML 训练、微调和推理的系统配置器。它将系统配置表述为具有层次依赖关系的混合离散/连续优化问题，引入一种混合优化框架，联合细化稀疏结构决策和稠密执行参数。为减少轮廓成本，AutoScout 会优先考虑高影响配置特征，并综合不同保真度的模拟器。跨 diverse 模型、硬件平台和部署目标，AutoScout 持续识别高性能配置，实现 2.7-3.0 倍的训练加速。
引用
@article{arxiv.2603.11603,
title = {AutoScout: Structured Optimization for Automating ML System Configuration},
author = {Jimmy Shong and Yuhan Ding and Yihan Jiang and Liheng Jing and Haonan Chen and Gaokai Zhang and Aditya Akella and Fan Lai},
journal= {arXiv preprint arXiv:2603.11603},
year = {2026}
}