储备池计算中超参数的贝叶斯优化
机器学习
2017-06-15 v3
摘要
我们描述了一种在储备池计算中搜索最优超参数的方法，该方法由高斯过程与贝叶斯优化组成。它提供了网格搜索、随机搜索或手动搜索等其他常用优化方法的替代方案。除了一组最优超参数外，该方法还提供了代价函数作为超参数函数的概率分布。我们将此方法应用于两种类型的储备池：非线性延迟节点和回声状态网络。它在所有考虑的基准测试上都表现出色，要么与文献中发现的结果相当，要么显著超越。一般而言，与其他优化方法相比，该算法能在更少的迭代次数内达到最优结果。我们同时优化了多达六个超参数，这在使用例如网格搜索时是不可行的。由于其自动化特性，该方法在优化储备池计算中的超参数时显著降低了对专家知识的需求。现有的贝叶斯优化软件库，如 Spearmint，使得该算法的实现变得简单直接。Spearmint 框架的一个分支以及关于如何在实践中使用它的教程可在 https://bitbucket.org/uhasseltmachinelearning/spearmint/ 获取。
引用
@article{arxiv.1611.05193,
title = {Bayesian optimization of hyper-parameters in reservoir computing},
author = {Jan Yperman and Thijs Becker},
journal= {arXiv preprint arXiv:1611.05193},
year = {2017}
}