EMA-Nesterov：稳定深层学习优化中的 Nesterov 前瞻
机器学习
2026-05-26 v1 最优化与控制
摘要
前瞻式加速方法，如 Nesterov 动量，广泛应用于优化领域，但由于随机梯度噪声和非凸损失景观，往往在深度学习训练中变得不可靠。特别是，标准前瞻方法依赖短期视角更新信号（例如，连续迭代之间的差异），这些信号本质上噪声较大，可能导致不稳定的外推方向。本工作从轨迹视角重新审视 Nesterov 的加速，认为在深度学习中有效的加速应利用优化轨迹的低频趋势，而非对单个步骤更新进行外推。基于这一洞见，我们提出了 EMA-Nesterov，通过将参数更新的指数移动平均（EMA）替换标准 Nesterov 前瞻方向来实现简单修改。这一方法捕获并利用训练轨迹演变趋势的低通滤波器，同时通过 EMA 的几何加权结构保持对渐进性变化的适应性。我们证明，EMA-Nesterov 在凸问题下保持类似 Nesterov 最速梯度法的理论加速收敛率。此外，我们在语言模型预训练中提供了实证数据，验证 EMA-Nesterov 适用于广泛的微调基础优化器，包括 Adam、SOAP、Muon，以及在优化基准测试中实现最先进性能的复杂优化器。与先前的前瞻方法相比，EMA-Nesterov 通过避免短期前瞻的不稳定性和长期前瞻的非适应性，实现了更好的性能。
引用
@article{arxiv.2605.25395,
title = {EMA-Nesterov: Stabilizing Nesterov's Lookahead for Accelerated Deep Learning Optimization},
author = {Chung-Yiu Yau and Dawei Li and Athanasios Glentis and Valentyn Boreiko and Hoi-To Wai and Mingyi Hong},
journal= {arXiv preprint arXiv:2605.25395},
year = {2026}
}
备注
25 page, 10 figures