沿锐利与平坦方向加速神经网络训练
机器学习
2025-05-20 v1 机器学习
摘要
近期研究发现，梯度与 Hessian 主特征子空间之间存在惊人一致性——称为支配子空间。在此同时，人们对 Hessian 谱中锐利与平坦方向的不同作用越来越感兴趣。本文研究了 Bulk-SGD，这是一种限制更新位于支配子空间正交补中的 SGD 变体。通过消融研究，我们刻画了 Bulk-SGD 的稳定性特征，并识别了支配其行为的关键超参数。我们表明，沿 Bulk 子空间（对应损失景观中较平坦的方向）的更新可加速收敛，但可能损害稳定性。为平衡这些效应，我们引入了插值梯度方法，将 SGD、Dom-SGD 和 Bulk-SGD 统一。最后，我们经验性地将此子空间分解与广义高斯-诺伊特方法和函数 Hessian 项联系起来，表明曲率能量主要集中在支配子空间中。我们的发现表明，一种原则化的用于设计曲率感知优化器的方法。
引用
@article{arxiv.2505.11972,
title = {Accelerating Neural Network Training Along Sharp and Flat Directions},
author = {Daniyar Zakarin and Sidak Pal Singh},
journal= {arXiv preprint arXiv:2505.11972},
year = {2025}
}