具有经典动量加速的小批量 SGD 中的完美并行化
机器学习
2026-05-19 v1
摘要
使用经典动量方案（如 Polyak 重球法）加速随机梯度方法在训练大规模机器学习模型中已被证明非常成功，特别是当其与大小批量计算的硬件加速相结合时。然而，经典动量对随机小批量优化的影响在理论上一直缺乏深入理解，先前的工作需要强噪声假设和极大的小批量。在本工作中，我们针对插值机制下二次优化的随机动量加速发展了一般理论，该机制是研究深度学习动力学的常用抽象，也包括随机 Kaczmarz 和坐标下降等经典方法。我们的框架涵盖重球法和 Nesterov 风格动量，允许任意小批量大小，并对随机噪声做出最小假设。特别地，我们表明经典动量带来的加速与梯度小批量大小成正比（直至自然饱和点），从而实现小批量计算的完美并行化。我们的理论还提供了动量参数的简单选择，并在经验上被证明是有效的。
引用
@article{arxiv.2605.18609,
title = {Perfect Parallelization in Mini-Batch SGD with Classical Momentum Acceleration},
author = {Sachin Garg and Michał Dereziński},
journal= {arXiv preprint arXiv:2605.18609},
year = {2026}
}