高维分析揭示保守性锐化与随机稳定边缘

最近的实证和理论工作表明，训练损失 Hessian 大特征值动力学在不同模型和数据集中具有 remarkably robust 的特征，尤其在全批次情境下。通常会出现一个早期渐进式锐化阶段，其中大特征值增加，随后在称为稳定边缘的可预测值处稳定。先前的工作表明，在随机情境下，特征值的增加速度更慢——我们称之为保守性锐化。我们提供了一个简单高维模型的理论分析，揭示了这种减缓的来源。我们还表明存在一种替代性随机稳定边缘，其在小批量大小下出现，对神经张量核的迹而非大Hessian特征值更为敏感。我们进行了实验研究，突出了与全批次现象的定性差异，并表明控制随机稳定边缘可有助于优化。