混沌循环神经网络的李雅普诺夫谱

大脑通过大型神经网络的集体动力学来处理信息。集体混沌被认为构成了大脑皮质回路中观察到的复杂持续动力学的基础，并决定了输入信息流的冲击与处理。在耗散系统中，混沌动力学发生在降维相空间子集上，并由稳定、中性和不稳定流形的复杂缠结所组织。该相空间结构的关键拓扑不变量，如吸引子维数和 Kolmogorov-Sinai 熵，迄今仍难以捉摸。在此我们计算循环神经网络的完整李雅普诺夫谱。我们表明这些网络中的混沌是广延的，具有尺寸不变的李雅普诺夫谱，并以远小于相空间维数的吸引子维数为特征。我们发现，在混沌起始附近、对于极强混沌以及离散时间动力学，随机矩阵理论为完整李雅普诺夫谱提供了解析近似。我们表明网络动力学的广义时间反演对称性诱导了李雅普诺夫谱的点对称性，令人联想到混沌哈密顿系统的辛结构。涨落输入同时降低了熵率和吸引子维数。对于训练后的循环网络，我们发现李雅普诺夫谱分析可量化所达成的误差传播与稳定性。我们的方法适用于任意连接性的系统，并且我们描述了一套用于李雅普诺夫指数精度与收敛性的综合控制手段。我们的结果为刻画循环神经网络的复杂动力学及相应混沌吸引子的几何开辟了新途径。它们也凸显了李雅普诺夫谱分析作为循环网络机器学习应用诊断工具的潜力。