一个大规模并行超参数调优系统
机器学习
2020-03-17 v5 机器学习
摘要
现代学习模型具有超参数空间大和训练时间长的特点。这些特性，加上并行计算的兴起以及将机器学习工作流生产化的日益增长需求，促使需要在分布式计算环境中开发成熟的超参数优化功能。我们通过首先引入一种名为 ASHA 的简单而鲁棒的超参数优化算法来应对这一挑战，该算法利用并行与激进早停来处理大规模超参数优化问题。我们广泛的实证结果表明，ASHA 优于现有最先进的超参数优化方法；在分布式环境中随 worker 数量线性扩展；并且适用于大规模并行，如在含 500 个 worker 的任务上所展示。随后我们描述了在将 ASHA 集成到 Determined AI 的端到端生产级机器学习系统（提供超参数调优即服务）时所遇到的若干设计决策及其相应解决方案。
引用
@article{arxiv.1810.05934,
title = {A System for Massively Parallel Hyperparameter Tuning},
author = {Liam Li and Kevin Jamieson and Afshin Rostamizadeh and Ekaterina Gonina and Moritz Hardt and Benjamin Recht and Ameet Talwalkar},
journal= {arXiv preprint arXiv:1810.05934},
year = {2020}
}
备注
v2: Corrected typo in Algorithm 1 v3: Added comparison to BOHB and parallel version of synchronous SHA. Add PBT to experiment in Section 4.3.1 v4: Added acknowledgements and slight edit to related work