回声状态网络的设计与应用综述
机器学习
2020-12-08 v1 神经与进化计算
摘要
循环神经网络（RNNs）已在序列任务中展现出卓越能力，并在工业、医疗、经济与语言等广泛应用中达到最优性能。回声状态网络（ESN）是一类简单的RNN，在过去十年中作为基于梯度下降训练的RNN的替代方案而出现。ESN具有坚实的理论基础，实用、概念简单、易于实现。它避免了梯度下降方法中不收敛与计算昂贵的问题。自2002年ESN提出以来，大量已有工作推动了ESN的进展，且近期引入的深度ESN模型开辟了结合深度学习与ESN优点的途径。此外，ESN与其他机器学习模型的组合在一些应用中也超越了基线。然而，ESN表面上的简单有时具迷惑性，成功应用ESN需要一定经验。因此，本文我们将基于ESN的方法归类为基本ESN、深度ESN与组合，并从理论研究、网络设计与具体应用角度进行分析。最后，我们通过总结开放性问题并提出可能的未来工作，讨论ESN的挑战与机遇。
引用
@article{arxiv.2012.02974,
title = {A Review of Designs and Applications of Echo State Networks},
author = {Chenxi Sun and Moxian Song and Shenda Hong and Hongyan Li},
journal= {arXiv preprint arXiv:2012.02974},
year = {2020}
}
备注
37 pages, 5 figures, 2 tables