维度适应动量超越 SGD
机器学习
2025-05-23 v1 机器学习
最优化与控制
摘要
我们研究基于小批量的随机动量算法的尺度律，模型参数由数据复杂度、目标复杂度和模型规模决定。当使用随机动量算法训练时，我们的分析揭示了四种不同的损失曲线形状，这由数据-目标复杂度的变化所决定。虽然传统的随机梯度下降带动量 (SGD-M) 产生与 SGD 相同的尺度律指数，但维度适应的 Nesterov 加速 (DANA) 通过基于模型规模和数据复杂度缩放动量超参数来提升这些指数。这种超越现象也改善了计算最优尺度行为，DANA 在广泛的数据和目标复杂度范围内均实现了提升，而传统方法则不具备这种能力。在高维合成二次问题上的大规模实验验证了我们的理论预测，大规模文本实验中的 LSTM 也显示 DANA 在实际场景中优于 SGD 的损失指数提升。
关键词
引用
@article{arxiv.2505.16098,
title = {Dimension-adapted Momentum Outscales SGD},
author = {Damien Ferbach and Katie Everett and Gauthier Gidel and Elliot Paquette and Courtney Paquette},
journal= {arXiv preprint arXiv:2505.16098},
year = {2025}
}