KPFlow：关于循环网络梯度下降训练中动态坍缩的操作视角

梯度下降（GD）及其变体是启用循环动力系统（如循环神经网络（RNN）、Neural ODE 和 Gated Recurrent units（GRUs））高效训练的主要工具。这些模型中形成的动力学具有神经坍缩和潜在表征涌现等特征，这些特征可能支持网络的显著泛化能力。在神经科学中，这些表征的定性特征用于比较生物和人工系统中的学习。尽管近期取得了进展，但仍需要理论工具来严格理解塑造所学表征的机制，尤其是有限的、非线性模型中。本文我们展示，描述模型动力学随 GD 如何演化的梯度流可以分解为一个涉及两个算子的乘积：一个参数算子 K 和一个线性化流传播子 P。K 类似于前馈神经网络中的神经切向核（Neural Tangent Kernel），而 P 出现在 Lyapunov 稳定性和最优控制理论中。我们演示了这两种分解的两个应用。首先，我们展示了它们的相互作用如何导致 GD 下的低维潜在动力学，具体地，坍缩是网络结构的结果，超出底层任务的性质。其次，对于多任务训练，我们展示了这些算子可用于衡量与个别子任务相关的目标如何对齐。我们通过实验和理论验证了这些发现，提供了一个高效的 PyTorch 软件包 \emph{KPFlow}，实现了用于一般循环体系结构的稳健分析工具。总的来说，我们的工作朝着理解非线性循环模型中 GD 学习的下一阶段迈进。