SNOO：步长-K Nesterov 外层优化器 —— 应用于伪梯度的 Nesterov 动量奇异有效性
机器学习
2025-10-20 v1 人工智能
摘要
大型语言模型（LLM）的快速发展推动了对更高效优化技术的需求。其中，Lookahead 系列优化器采用两层框架，维护快速和慢速模型权重集合。多个内层优化步骤在快速权重上产生轨迹——即伪梯度——用于更新慢速权重。DiLoCo 是一种 notable 的实例，最初为分布式训练设计，应用 Nesterov 动量处理来自多个工作节点的平均伪梯度，声称在非分布式设置下甚至能超越 AdamW。在本文中，我们经验性地表明，DiLoCo 的奇异有效性主要源于对伪梯度应用 Nesterov 动量，这在非分布式设置下改进了训练。我们将这种 Lookahead 变体称为步长-K Nesterov 外层优化器（SNOO）。我们展示，SNOO 在非分布式设置下达到 1e23 训练 FLOPs 规模，计算因子提升 1.5 - 2.5×，且随模型规模而提升。由于其最小的计算和内存开销以及与模型分片的兼容性，SNOO 是一种实用的增强，可用于各种内层优化器，包括 AdamW 和 Muon。
引用
@article{arxiv.2510.15830,
title = {SNOO: Step-K Nesterov Outer Optimizer - The Surprising Effectiveness of Nesterov Momentum Applied to Pseudo-Gradients},
author = {Dominik Kallusky and Vinay Rao and Vishal Nandavanam and Hao-Jun Michael Shi},
journal= {arXiv preprint arXiv:2510.15830},
year = {2025}
}