基于确定性 RBF 代理的深度学习算法高效超参数优化
人工智能
2017-01-24 v2 机器学习
机器学习
摘要
自动搜索最优超参数配置对于深度学习算法在实践中的应用至关重要。近来，贝叶斯优化被提出用于优化各种机器学习算法的超参数。这些方法采用高斯过程等概率代理模型来近似并最小化超参数值的验证误差函数。然而，概率代理需要准确估计误差分布的充分统计量（例如协方差），因此需要大量具有相当数量超参数的函数评估。这使得它们在优化深度学习算法的超参数时效率低下，因为后者评估代价极高。本工作中，我们提出一种新的确定性且高效的超参数优化方法，该方法采用径向基函数作为误差代理。所提出的混合整数算法称为 HORD，它通过动态坐标搜索在代理模型中寻找最有前景的超参数值，并且需要少得多的函数评估。HORD 在低维表现良好，但在更高维表现尤为出色。在 MNIST 和 CIFAR-10 上对四个深度神经网络的广泛评估表明，HORD 显著优于已建立的贝叶斯优化方法，如 GP、SMAC 和 TPE。例如，平均而言，HORD 在获得 19 个超参数的最佳配置时比 GP-EI 快 6 倍以上。
引用
@article{arxiv.1607.08316,
title = {Efficient Hyperparameter Optimization of Deep Learning Algorithms Using Deterministic RBF Surrogates},
author = {Ilija Ilievski and Taimoor Akhtar and Jiashi Feng and Christine Annette Shoemaker},
journal= {arXiv preprint arXiv:1607.08316},
year = {2017}
}
备注
AAAI-17 Camera-ready