探索回声状态网络中传递函数的非线性
神经与进化计算
2015-04-28 v2
摘要
超线性和次线性突触前及树突整合被认为负责生物神经元的非线性计算能力，强调了非线性整合而非非线性输出阈值的作用。传递函数非线性在何种程度、为何以及如何帮助受生物启发的神经网络模型尚不完全清楚。在此，我们在回声状态网络（ESN）背景下研究这些问题。ESN是一种简单的神经网络架构，其中固定的递归网络由输入信号驱动，输出由读出层根据网络状态的测量生成。ESN架构在训练效率高和某些信号处理任务（如系统辨识和时间序列预测）上表现良好。ESN性能已针对网络结构中的连接模式和输入偏置进行了分析。然而，网络中传递函数的影响尚未被系统研究。在此，我们采用一种基于常用传递函数（即双曲正切（tanh）函数）的泰勒展开的方法，系统研究传递函数非线性程度的增加对ESN的记忆能力、非线性容量和信号处理性能的影响。有趣的是，我们发现二次近似足以捕捉具有tanh函数的ESN的计算能力。本研究结果适用于ESN的软件和硬件实现。
引用
@article{arxiv.1502.04423,
title = {Exploring Transfer Function Nonlinearity in Echo State Networks},
author = {Alireza Goudarzi and Alireza Shabani and Darko Stefanovic},
journal= {arXiv preprint arXiv:1502.04423},
year = {2015}
}
备注
arXiv admin note: text overlap with arXiv:1502.00718