深层循环网络中插值迁移附近的玻璃动力学

我们检查了深层循环网络中的学习动力学，关注插值迁移（即深度-宽度平面中分隔欠参数化和超参数化网络的边界）附近的行为。训练数据为4部和声的巴赫合唱曲，学习采用交叉熵损失函数的随机梯度下降法。我们发现，随着宽度 $w$ 接近（取决于损失值的）临界值 $w_c$，学习时间呈现关键减缓：对于给定的网络深度，学习时间看似以 $1/(w - w_c)$ 的形式发散。我们将该值的零损失极限与插值迁移相一致。我们还研究了老化（即随学习开始时间的增长而减缓的波动）。我们测量了持续学习时间 $\tau_w$ 后，在时间 $\tau > \tau_w$ 上的权重值的均方波动。在欠参数化阶段，我们发现这些波动可由 $\tau/\tau_w$ 的函数很好地描述。虽然在转换附近和超参数化阶段的短时间内这种比例也约等于成立，但在训练损失接近由随机梯度下降动力学所施加的下限时，在较长时间上比例会破裂。这种老化和关键减缓也在某些自旋玻璃模型中找到，表明这些模型包含学习动力学最本质的特征。