高斯白内部噪声对模拟回声状态神经网络的影响

近年来，致力于人工神经网络的模拟（硬件）实现的研究越来越多，在这些网络中，神经元及其之间的连接并非基于计算机计算，而是基于物理原理。此类网络提供了更好的能效，在某些情况下还具备可扩展性，但可能容易受到内部噪声的影响。本文以训练好的回声状态网络（ESNs）为例，研究了噪声对循环网络运行的影响。选择 ESNs 的不同拓扑结构作为最常见的储备池连接矩阵：具有不同连接度的随机均匀矩阵和带状矩阵。选择高斯白噪声作为影响源，根据其引入方式分为加性或乘性，以及相关或非相关。在文中我们表明，储备池中噪声的传播主要受输出连接矩阵的统计特性控制，即均值和均方值。根据这些值的不同，更多相关或非相关噪声会在网络中积累。我们还表明，在某些条件下，即使强度仅为 $10^{-20}$ 的噪声也足以使有用信号完全丢失。在文中我们展示了对于具有不同激活函数（双曲正切、Sigmoid 和线性）的网络以及自闭合网络，哪些类型的噪声最为关键。