HyperNOMAD：基于网格自适应直接搜索的深度神经网络超参数优化
机器学习
2019-07-04 v1 最优化与控制
机器学习
摘要
深度神经网络的性能对定义网络结构与学习过程的超参数的选择高度敏感。面对新应用时，调优深度神经网络是一个繁琐且耗时的过程，常被称为“黑艺术”。这解释了自动化校准这些超参数的必要性。无导数优化是一个研发用于优化耗时函数且无需依赖导数的方法的领域。本文介绍 HyperNOMAD 软件包，它是 NOMAD 软件的扩展，应用 MADS 算法 [7] 同时调优负责深度神经网络（DNN）架构与学习过程的超参数，并通过利用分类变量在搜索空间探索中提供重要灵活性。该新方法在 MNIST 与 CIFAR-10 数据集上进行了测试，取得了与当前最优水平相当的结果。
引用
@article{arxiv.1907.01698,
title = {HyperNOMAD: Hyperparameter optimization of deep neural networks using mesh adaptive direct search},
author = {Dounia Lakhmiri and Sébastien Le Digabel and Christophe Tribes},
journal= {arXiv preprint arXiv:1907.01698},
year = {2019}
}