超参数优化的缩放定律
机器学习
2023-10-26 v3
摘要
超参数优化是机器学习的一个重要子领域,专注于调整所选算法的超参数以实现峰值性能。最近,出现了一系列解决超参数优化问题的方法,然而大多数方法没有利用学习曲线占主导的幂律特性进行贝叶斯优化。在这项工作中,我们提出Deep Power Laws (DPL),一种以神经网络模型集成为条件从而产生遵循幂律缩放模式预测的模型。我们的方法通过利用灰盒评估动态地决定暂停哪些配置并增量训练。我们在涉及表格、图像和NLP数据集的3个基准上,针对7个最先进的竞争对手比较了我们的方法,涵盖了59项多样化任务。我们的方法在所有基准上取得了最佳结果,相比所有竞争对手获得了最佳的任意时刻结果。
引用
@article{arxiv.2302.00441,
title = {Scaling Laws for Hyperparameter Optimization},
author = {Arlind Kadra and Maciej Janowski and Martin Wistuba and Josif Grabocka},
journal= {arXiv preprint arXiv:2302.00441},
year = {2023}
}
备注
Accepted at NeurIPS 2023