LiMuon：面向大模型的轻量快速 Muon 优化器

最近，大模型在人工智能领域得到广泛应用，因此对大模型的高效训练引起了广泛关注。更近期，一种专为大模型的矩阵结构参数设计的有用 Muon 优化器逐渐流行。尽管已有研究开始探索 Muon 优化器，但现有的 Muon 及其变体仍面临高样本复杂度或高内存问题。为填补这一空白，我们提出一种轻量快速 Muon (LiMuon) 优化器，用于训练大模型，基于基于动量的方差归还技术和随机奇异值分解(SVD)。我们的 LiMuon 优化器比当前的 Muon 及其变体具有更低的内存占用。此外，我们证明了 LiMuon 在光滑条件下，寻找 $\epsilon$ -平稳解的样本复杂度为 $O(\epsilon^{-3})$。最近，Muon 优化器的现有收敛分析主要依赖严格的 Lipschitz 光滑假设，而某些人工智能任务（如训练大型语言模型(LLM)）并不满足这一假设。我们也证明了 LiMuon 在广义光滑条件下的样本复杂度为 $O(\epsilon^{-3})$。在训练 DistilGPT2 和 ViT 模型的numerical实验结果验证了 LiMuon 优化器的有效性。