DEEP-BO：用于深度网络超参数优化的贝叶斯优化方法
机器学习
2019-05-24 v1 分布式、并行与集群计算
机器学习
摘要
深度神经网络（DNN）的性能对超参数的具体选择非常敏感。更糟糕的是，当使用如批归一化（batchnorm）之类的技术时，学习曲线的形状会受到显著影响。因此，深度网络的超参数优化比传统机器学习模型更具挑战性。在本工作中，我们从知名的贝叶斯优化（Bayesian Optimization）方案出发，提供专为深度网络超参数优化设计的增强策略。所得算法被命名为DEEP-BO（多样化、可早停、并行的贝叶斯优化，Diversified, Early-termination-Enabled, and Parallel Bayesian Optimization）。在六个DNN基准上评估时，DEEP-BO轻松优于或与一些知名方案（包括GP-Hedge、Hyperband、BOHB、中位数停止规则和学习曲线外推）表现出相当的性能。所用代码已在 https://github.com/snu-adsl/DEEP-BO 公开。
引用
@article{arxiv.1905.09680,
title = {DEEP-BO for Hyperparameter Optimization of Deep Networks},
author = {Hyunghun Cho and Yongjin Kim and Eunjung Lee and Daeyoung Choi and Yongjae Lee and Wonjong Rhee},
journal= {arXiv preprint arXiv:1905.09680},
year = {2019}
}
备注
26 pages, NeurIPS19 under review