基于回声状态网络的 L2-Boost 技术的实证研究
机器学习
2015-01-06 v1 神经与进化计算
摘要
一类特殊的循环神经网络（RNN）于 2000 年代初以回声状态网络（ESN）之名被提出。ESN 模型克服了 RNN 训练过程中的局限性，同时未引入显著缺点。尽管当参数未良好初始化时该模型存在一些已明确识别的缺陷。ESN 的性能高度依赖于其内部参数以及隐层-隐层权重的连接模式。通常，网络参数的调优可能很困难，并会影响模型的精度。在本工作中，我们研究了一种特定的提升技术（称为 L2-Boost）结合以 ESN 作为单一预测器的性能。L2-Boost 技术已被证明是回归问题中组合“弱”预测器的有效工具。在本研究中，我们使用一组随机初始化的 ESN（不控制其参数）作为提升过程的“弱”预测器。我们在五个知名时间序列基准问题上评估了我们的方法。此外，我们将该技术与由平均 ESN 集成预测组成的基线方法进行了比较。
引用
@article{arxiv.1501.00503,
title = {An Empirical Study of the L2-Boost technique with Echo State Networks},
author = {Sebastián Basterrech},
journal= {arXiv preprint arXiv:1501.00503},
year = {2015}
}
备注
To appear in Journal of Network and Innovative Computing, Volume 2, Issue 1, pp. 120 - 127, 2014