Mano：面向 LLM 训练的重构流形优化
机器学习
2026-02-02 v1 人工智能
摘要
尽管大型语言模型（LLM）已成为人工智能领域的重大进展，但其训练的硬件和计算成本也相当沉重。在最先进的优化器中，AdamW 依赖对角曲率估计，忽略了结构属性；而 Muon 则在牺牲曲率信息的同时应用全局谱归一化。本研究针对 LLM 训练重新构建流形优化方法，这可能同时解决上述两种优化器的局限性——尽管传统流形优化方法在大规模模型优化方面表现不佳，却鲜受关注。我们创新性地将动量投影到模型参数的切空间，并将其限制在旋转 Oblique 流形上，提出一种新型、强大且高效的优化器 **Mano**，这是首个在性能上弥合流形优化与现代优化器之间差距的方法。对 LLaMA 和 Qwen3 模型进行的大量实验表明，Mano 在较少的内存消耗和计算复杂度下，均显著优于 AdamW 和 Muon，表明在空间和时间效率方面拓展了 Pareto 前沿。
引用
@article{arxiv.2601.23000,
title = {Mano: Restriking Manifold Optimization for LLM Training},
author = {Yufei Gu and Zeke Xie},
journal= {arXiv preprint arXiv:2601.23000},
year = {2026}
}