高维下 signSGD 的精确风险曲线：量化预处理与噪声压缩效应
机器学习
2026-03-27 v3 机器学习
摘要
近年来，signSGD 作为一种实用的优化器以及理解 Adam 等自适应优化器的简单模型而备受关注。尽管人们普遍认为 signSGD 起到了预处理优化和重塑噪声的作用，但在理论上可解的设定中定量理解这些效应仍然困难。我们对 signSGD 在高维极限下进行了分析，并推导出描述风险的极限 SDE 和 ODE。利用这一框架，我们量化了 signSGD 的四种效应：有效学习率、噪声压缩、对角预处理和梯度噪声重塑。我们的分析与实验观察相一致，但通过量化这些效应对数据和噪声分布的依赖关系而更进一步。我们以一个关于如何将这些结果扩展到 Adam 的猜想作为结尾。
引用
@article{arxiv.2411.12135,
title = {Exact Risk Curves of signSGD in High-Dimensions: Quantifying Preconditioning and Noise-Compression Effects},
author = {Ke Liang Xiao and Noah Marshall and Atish Agarwala and Elliot Paquette},
journal= {arXiv preprint arXiv:2411.12135},
year = {2026}
}