HyperTuner:面向数据分析服务的跨层多目标超参数自动调优框架
机器学习
2023-04-21 v1
摘要
超参数优化(HPO)对机器学习模型至关重要。除模型精度外,模型训练时间与能耗等其他调优意图也值得数据分析服务提供商关注。因此,有必要同时考虑模型超参数与系统参数,以执行跨层多目标超参数自动调优。针对这一具有挑战性的目标,我们在本文中提出 HyperTuner。为求解所表述的高维黑盒多目标优化问题,HyperTuner 首先利用其 MOPIR 算法进行多目标参数重要性排序,随后借助所提出的 ADUMBO 算法寻找帕累托最优配置集。在每次迭代中,ADUMBO 通过最大化一个新设计的度量从生成的帕累托候选集中选择最有前景的配置,该度量能自适应地利用所有代理模型的不确定性及预测均值并随迭代次数变化。我们在本地分布式 TensorFlow 集群上评估了 HyperTuner,实验结果表明,与其他四种基线算法相比,它总能找到在收敛性与多样性上更优的帕累托配置前沿。此外,采用不同训练数据集、不同优化目标与不同机器学习平台的实验验证了 HyperTuner 能很好地适应各类数据分析服务场景。
引用
@article{arxiv.2304.10051,
title = {HyperTuner: A Cross-Layer Multi-Objective Hyperparameter Auto-Tuning Framework for Data Analytic Services},
author = {Hui Dou and Shanshan Zhu and Yiwen Zhang and Pengfei Chen and Zibin Zheng},
journal= {arXiv preprint arXiv:2304.10051},
year = {2023}
}