两阶段优化器的高维理论
机器学习
2026-03-31 v1 统计理论
统计理论
摘要
向更大训练设置的趋势带来了对部分异步两阶段优化器的新兴趣，这些优化器先在本地优化然后在工作节点间同步。此外，最近的研究表明，这些算法之一的单工作节点版本 DiLoCo 作为（同步）优化器展现出有前景的结果。受这些研究的启发，我们对两阶段优化器家族中的简单成员 LA-DiLoCo 在高维线性回归问题上进行了分析。我们表明单工作节点变体 LA 提供了与 SGD 不同的信号与噪声之间的权衡，这在许多场景中是有益的。我们还表明多工作节点版本产生的噪声多于单工作节点版本，但这种额外的噪声生成可以通过适当选择超参数来缓解。我们最后分析了 SLA——带有动量的 LA——并表明堆叠两个动量算子为通过"有效" Hessian 谱的非线性变换提供了加速机会，该谱在 Nesterov 动量时达到最大。总体而言，我们的结果表明两阶段优化器代表了一个理解和改进训练算法的新兴范式。
引用
@article{arxiv.2603.26954,
title = {High dimensional theory of two-phase optimizers},
author = {Atish Agarwala},
journal= {arXiv preprint arXiv:2603.26954},
year = {2026}
}