深度回声状态网络动态的丰富性
机器学习
2019-09-25 v2 人工智能
神经与进化计算
机器学习
摘要
储备池计算（Reservoir Computing, RC）是一种用于高效设计循环神经网络（Recurrent Neural Networks, RNNs）的流行方法。近来，随着深度回声状态网络（Deep Echo State Network, DeepESN）模型的提出，RC 方法的优势已扩展至多层级 RNN 的语境中。本文借助信息论与数值分析领域的工具，研究 DeepESN 逐层升高的层级中状态动态的质量。我们在 RC 基准数据集上的实验结果表明，储备池间连接强度对高层级中逐渐丰富的表征起着基础性作用。我们的分析也为在 RC 领域中有效利用基于随机梯度下降的训练算法提供了有趣的见解。
引用
@article{arxiv.1903.05174,
title = {Richness of Deep Echo State Network Dynamics},
author = {Claudio Gallicchio and Alessio Micheli},
journal= {arXiv preprint arXiv:1903.05174},
year = {2019}
}
备注
Preprint of the paper accepted at IWANN 2019