工作节点分歧揭示局部SGD中的尖锐方向
机器学习
2026-05-28 v1 人工智能
摘要
深度神经网络训练通常表现出高度各向异性的损失几何结构，其中少数尖锐的Hessian主导方向与大量更平坦的体方向共存。梯度倾向于与这些主导方向不成比例地对齐，尽管稳定的进展通常需要沿着更平坦的体方向移动。因此，估计主导子空间是有用的，但使用直接的基于Hessian的方法成本高昂。我们证明，标准的局部SGD通过工作节点分歧暴露了这种几何结构。我们从理论上证明，工作节点平均差距协方差由随机梯度噪声和Hessian曲率共同塑造，导致工作节点沿着尖锐的、对曲率敏感的方向产生分歧。因此，工作节点平均差距提供了一种廉价的、无需Hessian的主导子空间估计器。在MLP、CNN和Transformer上的实验表明，由工作节点平均差距形成的子空间捕获了位于主导Hessian特征空间中的梯度分量的很大一部分。
引用
@article{arxiv.2605.27739,
title = {Worker Disagreement Reveals Sharp Directions in Local SGD},
author = {Tolga Dimlioglu and Kristi Topollai and Anna Choromanska},
journal= {arXiv preprint arXiv:2605.27739},
year = {2026}
}
备注
5 pages main body, 18 pages appendix - Accepted to HiLD 2026, ICML