重审非凸 SGD 中的梯度归一化与裁剪：必要性、充分性与加速
机器学习
2025-11-20 v4 最优化与控制
机器学习
摘要
梯度裁剪长期以来被认为是确保在重尾梯度噪声下随机梯度下降 (SGD) 收敛的关键因素。本文重新审视这一信念，探讨梯度归一化是否可作为有效的替代或补充手段。我们证明，在单独的光滑性假设下，仅使用梯度归一化即可保证非凸 SGD 的收敛。此外，当与裁剪结合时，可在更具挑战性的噪声分布下获得更好的收敛率。我们提供一种统一的理论，描述仅归一化、仅裁剪以及组合方法。进一步地，我们检视现有的方差归约算法，确立在此设置下，仅归一化即可实现收敛。最后，我们提出了一个加速变体，在二阶光滑性条件下可改进收敛。我们的结果为在重尾噪声下的非凸优化中使用归一化和裁剪提供了理论见解和实践指导。
引用
@article{arxiv.2410.16561,
title = {Revisiting Gradient Normalization and Clipping for Nonconvex SGD under Heavy-Tailed Noise: Necessity, Sufficiency, and Acceleration},
author = {Tao Sun and Xinwang Liu and Kun Yuan},
journal= {arXiv preprint arXiv:2410.16561},
year = {2025}
}