Hyper-Tune：面向大规模高效超参数调优
机器学习
2022-01-19 v1
摘要
机器学习日益增长的需求和复杂性给超参数调优系统带来了压力：模型评估成本持续上升，而现有最优方法的 scalability 开始成为关键瓶颈。本文受我们在生产环境中部署超参数调优的实际经验及现有系统局限性的启发，提出 Hyper-Tune，一个高效且鲁棒的分布式超参数调优框架。与现有系统相比，Hyper-Tune 突出了多项系统优化，包括（1）自动资源分配，（2）异步调度，以及（3）多保真度优化器。我们在基准数据集和生产环境中的大规模真实数据集上进行了广泛评估。经验表明，借助这些优化，Hyper-Tune 在包括 XGBoost、CNN、RNN 及一些神经网络架构超参数在内的广泛场景中优于具有竞争力的超参数调优系统。与最先进的 BOHB 和 A-BOHB 相比，Hyper-Tune 分别实现了高达 11.2 倍和 5.1 倍的加速。
引用
@article{arxiv.2201.06834,
title = {Hyper-Tune: Towards Efficient Hyper-parameter Tuning at Scale},
author = {Yang Li and Yu Shen and Huaijun Jiang and Wentao Zhang and Jixiang Li and Ji Liu and Ce Zhang and Bin Cui},
journal= {arXiv preprint arXiv:2201.06834},
year = {2022}
}
备注
48th International Conference on Very Large Data Bases (VLDB'22, Scalable Data Science track)