Ringmaster LMO：异步线性极小预言机动量方法
机器学习
2026-05-19 v1 分布式、并行与集群计算
最优化与控制
机器学习
摘要
Muon 最近作为 AdamW 训练神经网络的强有力替代方案出现，取得了令人鼓舞的大规模预训练结果，并有越来越多的证据表明矩阵结构化更新在实践中可以更快。然而 Muon 以及更一般地基于线性极小预言机（LMO）的方法通常被同步使用。这在异构分布式系统中是有问题的，因为工作节点以不同速度完成梯度计算，而同步训练必须反复等待较慢的节点。在本工作中，我们引入了 Ringmaster LMO，一种用于无约束随机非凸优化的异步基于 LMO 的动量方法。我们的方法建立在 Ringmaster ASGD 的延迟阈值思想之上。对于 SGD 型方法，Ringmaster ASGD 通过丢弃过度陈旧的梯度实现了最优时间复杂度。Ringmaster LMO 将此机制扩展到一般的基于 LMO 的更新。我们在广义 -平滑性下建立了收敛保证，并进一步开发了一种具有递减步长和自适应延迟阈值的参数无关变体。最后，我们将迭代保证转化为异构工作节点计算时间下的时间复杂度界限。在经典的欧几里得平滑设置中，这些界限恢复了 Ringmaster ASGD 的最优时间复杂度。在随机二次问题和 NanoChat 语言模型预训练上的实验表明，Ringmaster LMO 的优势随系统异构性增加而增长，并且该方法优于强同步和异步基线。
引用
@article{arxiv.2605.18174,
title = {Ringmaster LMO: Asynchronous Linear Minimization Oracle Momentum Method},
author = {Abdurakhmon Sadiev and Artavazd Maranjyan and Ivan Ilin and Peter Richtárik},
journal= {arXiv preprint arXiv:2605.18174},
year = {2026}
}