动量方差缩减使Muon可证明地更快

最近的实证研究表明，基于线性最小化预言机（LMO）在特定选择的非欧几里得范数球（如Muon和Scion）上的深度学习优化器，在大型语言模型训练中优于Adam类方法。在这项工作中，我们证明此类优化器可以通过将它们的原始动量替换为动量方差缩减（MVR）来得到改进。我们没有分别提出和分析Muon和Scion的MVR变体，而是将MVR纳入最近提出的Gluon框架中，该框架将Muon、Scion和其他特定的非欧几里得LMO方法捕获为特例，同时适用于更好地捕获神经网络层间结构的更一般的平滑性假设。在非凸情况下，我们以三种不同方式将MVR纳入Gluon。所有方法都将收敛速率从 ${\cal O}(\frac{1}{K^{1/4}})$ 提高到 ${\cal O}(\frac{1}{K^{1/3}})$。此外，我们在星凸情况下提供了改进的速率。最后，我们进行了若干数值实验，验证了所提出算法在迭代复杂度方面的优越性能。