神经网络训练过程中局部弹性的动力学

近来，权重空间中神经训练轨迹的一种性质被分离出来，即“局部弹性”（记为 $S_{\rm rel}$）。局部弹性试图量化一个采样数据点对另一数据处预测的影响传播。在这项工作中，我们对已有的 $S_{\rm rel}$ 概念进行了全面研究，并提出了一种新的定义，以解决我们所指出的原始定义在分类设定下的局限性。在 SVHN、CIFAR-10 和 CIFAR-100 上的多种最先进神经网络训练中，我们展示了与原始定义相比，我们新提出的 $S_{\rm rel}$ 能够更敏锐地检测出权重更新倾向于使预测变化发生在与采样数据同一类内的性质。在神经回归实验中，我们展示了原始 $S_{\rm rel}$ 揭示了一种两阶段行为——训练经历一个初始弹性阶段（$S_{\rm rel}$ 快速变化）和一个最终非弹性阶段（$S_{\rm rel}$ 保持较大）。我们表明，其中一些性质可以通过在模型预测类上利用梯度流的多种回归实例在解析上复现。