乘积储备池计算：基于乘积神经元的时间序列计算
神经与进化计算
2015-04-28 v2
摘要
回声状态网络（ESN）是一种储备池计算（RC）架构，是用于时间序列处理和学习的高效且准确的人工神经网络系统。一个 ESN 由一个称为储备池的递归神经网络核心组成，具有少量可调参数以生成输入的高维表示，以及一个读出层，该层可通过回归轻松训练以从储备池状态产生期望输出。某些计算任务涉及高阶时间相关性的实时计算，这需要在储备池或读出层中进行非线性变换。传统的 ESN 采用具有 sigmoid 或 tanh 函数神经元的储备池。相比之下，某些类型的生物神经元服从可由乘积单元而非求和和阈值来描述的响应曲线。受此类神经元的启发，我们引入了一种具有乘积节点储备池的 RC 架构，用于时间序列计算。我们发现乘积 RC 展现出标准 ESN 的许多特性，如短期记忆和非线性容量。在混沌预测任务的标准基准测试中，乘积 RC 在保持标准非线性 ESN 性能的同时更易于数学分析。我们的研究表明，由于递归乘积节点储备池生成的高阶统计量，此类网络在高度非线性任务中表现强大。
引用
@article{arxiv.1502.00718,
title = {Product Reservoir Computing: Time-Series Computation with Multiplicative Neurons},
author = {Alireza Goudarzi and Alireza Shabani and Darko Stefanovic},
journal= {arXiv preprint arXiv:1502.00718},
year = {2015}
}