深度回声状态网络记忆容量分析
机器学习
2019-08-21 v1 神经与进化计算
机器学习
摘要
本文针对一类新型深度回声状态网络(ESN),分析了表示 ESN 可存储输入数据量的 ESN 记忆容量。具体地,研究了两种深度 ESN 架构。首先,提出一种并行深度 ESN,其中多个储备池并行连接,使其能对多个 ESN 的输出取平均,从而降低预测误差。然后,提出一种串行架构 ESN,其中 ESN 储备池级联放置,每个 ESN 的输出是串行中下一 ESN 的输入。该串行 ESN 架构能捕捉输入序列与输出序列间更多特征,从而提升整体预测精度。基础分析表明,并行 ESN 的记忆容量等同于传统浅层 ESN,而串行 ESN 的记忆容量小于传统浅层 ESN。在归一化均方根误差方面,仿真结果显示并行深度 ESN 相较传统浅层 ESN 降低 38.5%,而串行深度 ESN 降低 16.8%。
引用
@article{arxiv.1908.07063,
title = {Analysis of Memory Capacity for Deep Echo State Networks},
author = {Xuanlin Liu and Mingzhe Chen and Changchuan Yin and Walid Saad},
journal= {arXiv preprint arXiv:1908.07063},
year = {2019}
}
备注
6 pages, 8 figures, Published in 2018 17th IEEE International Conference on Machine Learning and Applications (ICMLA)