面向时间序列数据集的回声状态网络高效优化
神经与进化计算
2019-03-13 v1 机器学习
机器学习
摘要
回声状态网络(ESN)是一类仅训练其输出层的循环神经网络，从而避免了通过时间反向传播梯度，带来了显著的计算收益。然而，ESN 中的一个常见问题是确定其超参数，这些超参数在实例化一个性能良好的储备池时至关重要，但常常手动设置或使用启发式方法。在本工作中，我们使用贝叶斯优化来优化 ESN 超参数，在给定有限的函数评估预算下，其优于网格搜索策略。在大量时间序列数据的背景下，例如天文学领域的光变曲线，我们可以进一步降低 ESN 的优化成本。特别地，我们希望避免对每条单独的时间序列调整超参数，因为这样做代价高昂；相反，我们希望找到这样的 ESN：其超参数不仅在单个时间序列上表现良好，而且在不显著牺牲预测性能的情况下，对一组相似的时间序列同样表现良好。这自然引出了聚类的概念，其中每个聚类由一个经过调优以建模一组具有相似时间行为的时间序列的 ESN 来表示。我们在合成数据集和来自 MACHO 巡天的真实世界光变曲线上展示了该方法。我们表明，我们的方法显著减少了建模整个数据集所需的 ESN 模型数量，同时保持了每个聚类中序列的预测性能。
引用
@article{arxiv.1903.05071,
title = {Efficient Optimization of Echo State Networks for Time Series Datasets},
author = {Jacob Reinier Maat and Nikos Gianniotis and Pavlos Protopapas},
journal= {arXiv preprint arXiv:1903.05071},
year = {2019}
}