关于神经切浪核在分叉处的塌陷

在时间展开的任务中，模型通过分叉（即底层模型动力学的质变）往往需要丰富的特征学习。我们通过经验状态空间神经切浪核（sNTK）发展了关于这些转换附近梯度下降的局部理论。我们的核心发现是，分叉既主导又简化学习动力学：在分叉附近，我们可以将 sNTK 简化为对应于经典正规形式系统中学习的秩一算子，提供即使对于高维循环系统也具有可解析描述的局部学习几何。具体而言，我们给出了将 sNTK 分解为与分叉相关和残余通道的程序，显示在常见的常维分叉附近，相关通道是一个高度放大的秩一算子。这一放大导致分叉通道主导整个 sNTK。因此，分叉在局部扭曲学习景观，引导梯度下降进入少数关键动力学方向，使附近的核和损失几何可由经典正规形式预测。我们以学生-教师循环神经网络为例说明：第一个学习到的分叉与 sNTK 有效秩的尖锐崩溃相吻合，并出现一个占主导地位的参数方向，其受限 sNTK 与标量折叉正规形式预测的景观高度吻合。最后，我们表明低秩自然梯度方法在分叉附近解决所产生的学习不稳定性，而对 SGD 的开销很小。