随机循环神经网络中的动能

在大型随机循环神经网络的突触增益跨越阈值后,可以出现高维混沌动力学。最近的研究表明,神经活动的动能与相空间中支撑不稳定固定点（平衡点）之间的混沌动力学密切相关。本文通过将动能为中心的观察方法与大量数值仿真相结合,考察随机循环神经网络的动能特性。我们发现,平均动能在突触增益的临界值处从零连续地转变为正值,并在临界点上方呈现三次方尺度行为。这种尺度行为得到了数值仿真的支持,为量化混沌发生过程中的动力学变化速度提供了定量描述。进一步地,理论计算了稳态活动分布,并从动能优化视角与数值仿真中有限大小系统进行比较。活动分布也以几何角度进行分析,建立了原始混沌动力学与动能梯度动力学之间的关系。可从平稳动能推导出混沌流形上的轨迹长度,并对相关的平稳行为进行分析。该研究提供了一种以动能为中心的路径,以理解循环神经网络的动力学景观,这可能为储备计算乃至内部突触学习提供了洞见。