回声状态网络的统计挑战及若干潜在补救方法
机器学习
2018-02-22 v1 机器学习
摘要
回声状态网络是强大的循环神经网络。然而，它们往往不稳定且波动大，使得为特定数据集找到一个好的 ESN 颇为困难。利用回声状态网络获得极高的精度是一项具有挑战性的任务。我们通过正则化训练与扰动输入，创建、发展并实现了一种可预测最优且鲁棒稳定的回声状态网络集成族。此外，基于分布形状尝试了若干权重分布，以考察分布形状是否对降低误差有影响。我们发现 ESN 对大多数数据集能在短期内跟踪，但长期会崩溃。具有大尺寸储备池的短期跟踪使 ESN 能以卓越的预测惊人地表现。基于该情形，我们进一步将许多 ESN 聚为集成，通过随机复制与输入数据的自助法来降低方差并稳定系统。
引用
@article{arxiv.1802.07369,
title = {On the Statistical Challenges of Echo State Networks and Some Potential Remedies},
author = {Qiuyi Wu and Ernest Fokoue and Dhireesha Kudithipudi},
journal= {arXiv preprint arXiv:1802.07369},
year = {2018}
}
备注
18 pages, 10 figures