防止�涌激发的储箱计算中的结构与动力学策略

通常 implemented as recurrent neural networks with fixed random connection weights 的储箱可以与简单的训练读出层组合，用于执行广泛的计算任务。然而，增加储箱连接权重的大小以利用非线性动力学会导致网络发展出强烈的自发活动，使神经元进入饱和状态，从而显著降低性能。本文研究了两种针对此类�涌激发的反措施。第一种方法在连接权重矩阵 $w_{ij}$ 中引入细微的非均匀结构，而不改变整体概率分布 $p(w)$。我们确定了若干有利的结构原则，例如创建一小部分神经元，其输入连接强度低于平均水平。即使其余储箱陷入�涌饱和行为，这一弱耦合子集仍处于轻度非线性范畴，其动力学仍可被读出层利用。第二种方法实现一种自动增益控制机制，其中专用的控制单元动态调节储箱的平均全局激活程度，以达到最优的控制点。虽然该控制单元仅通过全局增益因子调节储箱的可激发性，但该机制显著扩大了有利于计算的动力学范围，使性能基本独立于底层连接统计特性。