在 $(L_0,L_1)$-平滑性下探讨批噪声、自适应性与压缩的交互作用：一种 SDE 方法
机器学习
2026-05-26 v2 机器学习
摘要
分布式随机优化交织了 随机梯度噪声、 通信压缩以及 自适应/归一化更新。尽管每个因素已被单独研究，但在现实假设下它们的联合效应仍知之甚少。在这项工作中，我们在近期提出的 -平滑性条件下，为分布式压缩SGD（DCSGD）及其符号变体分布式SignSGD（DSignSGD）开发了一个统一的理论框架。从概念角度来看，我们表明文献中的一阶和二阶修正方程不能准确地对离散时间步长/稳定性限制进行建模，尤其是在 -平滑性下。从技术角度来看，我们通过将其曲率相关项仔细纳入漂移项，提出了新的一阶 SDE：这有助于捕捉学习率限制、梯度噪声、压缩与损失景观几何之间的细粒度关系。重要的是，我们在一般的梯度噪声假设下做到了这一点，包括重尾和仿射方差机制，这超越了经典的方差有界设定。我们的结果表明，归一化 DCSGD 的更新作为稳定性的自然条件出现，其归一化程度由梯度噪声结构、景观的规律性和压缩率精确决定。相比之下，DSignSGD 即使在重尾噪声和标准学习率调度下也能收敛。这些发现共同提供了新的理论见解与视角，以及实践指导。
引用
@article{arxiv.2506.00181,
title = {On the Interaction of Batch Noise, Adaptivity, and Compression, under $(L_0,L_1)$-Smoothness: An SDE Approach},
author = {Enea Monzio Compagnoni and Rustem Islamov and Frank Norbert Proske and Aurelien Lucchi and Antonio Orvieto and Eduard Gorbunov},
journal= {arXiv preprint arXiv:2506.00181},
year = {2026}
}
备注
Accepted at ICML 2026 (Poster)