储备池计算神经网络中的稀疏性

Claudio Gallicchio

储备池计算神经网络中的稀疏性

机器学习 2020-06-05 v1 神经与进化计算动力系统机器学习

作者: Claudio Gallicchio

摘要

储备池计算(Reservoir Computing, RC)是一种著名的递归神经网络设计策略，以训练的高效性为特征。RC的关键在于恰当地实例化隐藏递归层，其作为系统的动态记忆。在这方面，常见的做法是创建一个随机且稀疏连接的递归神经元池。尽管RC系统设计中的稀疏性方面已在文献中被讨论，如今它主要被理解为一种利用稀疏矩阵运算提升计算效率的方式。本文从所发展时间表示的丰富性角度，实证研究了稀疏性在RC网络设计中的作用。我们分析了递归连接中的稀疏性，以及从输入到储备池的连接中的稀疏性。我们的结果表明，稀疏性，特别是输入-储备池连接中的稀疏性，在发展新内部时间表示方面具有主要作用，这些表示具有更长的过去输入短期记忆以及更高的维度。

关键词

储备池计算递归神经网络稀疏性时间表示短期记忆输入-储备池连接

引用

@article{arxiv.2006.02957,
  title  = {Sparsity in Reservoir Computing Neural Networks},
  author = {Claudio Gallicchio},
  journal= {arXiv preprint arXiv:2006.02957},
  year   = {2020}
}

备注

This paper is currently under review

储备池计算神经网络中的稀疏性

摘要

关键词

引用

备注

相关论文