基于正交数组调参的深层神经网络超参数优化
机器学习
2020-03-02 v2 机器学习
摘要
深度学习算法近来在广泛领域(如计算机视觉)取得了优异性能。然而,深度学习面临的一个严峻挑战是对超参数的高度依赖。在不同超参数配置下,算法结果可能剧烈波动。针对上述问题,本文提出一种高效的正交数组调参方法(OATM)用于深度学习超参数调参。我们以五个详细步骤描述OATM方法,并使用两种广泛使用的深度神经网络结构(循环神经网络与卷积神经网络)加以阐述。所提方法与最先进的超参数调参方法进行比较,包括手动方法(如网格搜索与随机搜索)与自动方法(如贝叶斯优化)。实验结果表明,OATM相较于最先进方法能显著节省调参时间,同时保持令人满意的性能。代码已在GitHub开源(https://github.com/xiangzhang1015/OATM)。
引用
@article{arxiv.1907.13359,
title = {Deep Neural Network Hyperparameter Optimization with Orthogonal Array Tuning},
author = {Xiang Zhang and Xiaocong Chen and Lina Yao and Chang Ge and Manqing Dong},
journal= {arXiv preprint arXiv:1907.13359},
year = {2020}
}