人工神经网络训练过程中轨迹的动力学稳定性与混沌

训练人工神经网络的过程涉及迭代地调整其参数，以在面对学习任务时最小化网络预测的误差。这种迭代变化可以自然地解释为网络空间中的一条轨迹——一个网络的时间序列——因此训练算法（例如，合适损失函数的梯度下降优化）可以解释为图空间中的一个动力系统。为了说明这一解释，在这里我们通过这一视角分析浅层神经网络的网络轨迹及其通过学习简单分类任务的演化，从而研究该过程的动力学特性。我们系统地考虑了学习率的不同范围，并探索了所产生网络轨迹的动力学稳定性和轨道稳定性，发现了根据学习率机制不同而表现出规律和混沌行为的迹象。我们的发现与关于神经网络收敛特性和动力系统理论的普遍观点形成了对比。这项工作也有助于动力系统理论、网络理论和机器学习之间的思想交叉融合。