Hyperband与贝叶斯优化相结合用于深度学习中的超参数优化
计算机视觉与模式识别
2018-01-08 v1 人工智能
机器学习
摘要
深度学习已在诸多问题上取得令人瞩目的成果。然而，要调好超参数需要高度的专业知识或大量经验，且此类手动调参过程易产生偏倚。此外，在深度学习中试出尽可能多不同超参数配置并不现实，不同于其他机器学习场景，因为深度学习中评估每一个超参数配置都意味着训练一个深度神经网络，通常耗时甚久。Hyperband算法在深度学习领域的各类超参数优化问题上达到了最先进的性能。然而，Hyperband算法未利用先前已探索超参数配置的历史信息，故所得解为次优。我们提出将Hyperband算法与贝叶斯优化(其在采样下一试验配置时不忽略历史)相结合。实验结果表明，我们的组合方法优于包括Hyperband算法在内的其他超参数优化方法。
引用
@article{arxiv.1801.01596,
title = {Combination of Hyperband and Bayesian Optimization for Hyperparameter Optimization in Deep Learning},
author = {Jiazhuo Wang and Jason Xu and Xuejun Wang},
journal= {arXiv preprint arXiv:1801.01596},
year = {2018}
}
备注
preprint