基于人工智能的嵌套自指：如何预测神经网络精度并应用于超参数调优
机器学习
2019-07-02 v1 机器学习
摘要
在深度学习背景下，从计算角度看代价最高的阶段是学习算法的完整训练。然而，在新人工神经网络的设计过程中需多次使用此过程，从而导致极其昂贵的运算。此处，我们提出一种仅基于初始行为预测算法精度的低成本策略。为此，我们将感兴趣的网络反复训练至收敛，每次训练修改其特性。此预先过程中观察到的初始与最终精度存入数据库。随后，我们利用曲线拟合与支持向量机（SVM）技术（后者在所建数据库上训练），依据网络学习初期迭代的精度预测其精度。当网络特性空间极大或完整训练极耗时时，该方法尤为有益。我们得到的结果颇具前景，并促使我们将此策略应用于一个热点问题：超参数优化（HO）。特别地，我们聚焦于用于分类数据库 MNIST 和 CIFAR-10 的卷积神经网络的 HO。通过使用我们的预测方法及自行实现的超参数空间概率探索算法，我们以相当低的代价找到了对应于文献中已知最优精度的超参数设置。
引用
@article{arxiv.1907.00924,
title = {Mise en abyme with artificial intelligence: how to predict the accuracy of NN, applied to hyper-parameter tuning},
author = {Giorgia Franchini and Mathilde Galinier and Micaela Verucchi},
journal= {arXiv preprint arXiv:1907.00924},
year = {2019}
}
备注
The research leading to these results has received funding from the European Union's Horizon 2020 Programme under the CLASS Project (https://class-project.eu/), grant agreement n 780622