NuMuon：用于可压缩 LLM 训练的核范数约束 Muon 优化器
机器学习
2026-03-05 v1
摘要
大语言模型（LLM）的快速进步正受到内存和部署成本的日益制约，激励对实际部署进行压缩。许多最先进的压缩管道利用已训练权重矩阵的低秩结构，这常与流行优化器如 Adam 的属性相关。在此背景下，Muon 是一种最近提出的优化器，通过全秩更新步骤改进 LLM 预训练，但其诱导的权重空间结构尚未被特征化。在本工作中，我们报告了一项惊人经验发现：尽管施加全秩更新，Muon 训练的模型在权重矩阵中表现出显著的低秩结构，并且在标准管道下容易被压缩。鼓舞此洞见，我们提出了 NuMuon，通过在更新方向上施加核范数约束进一步将学习权重约束向低秩结构。跨数十亿参数规模的模型，我们展示 NuMuon 增加了权重的可压缩性，并在保持 Muon 有利收敛行为的同时，通过最先进的 LLM 压缩管道改进了后压缩模型质量。
引用
@article{arxiv.2603.03597,
title = {NuMuon: Nuclear-Norm-Constrained Muon for Compressible LLM Training},
author = {Hadi Mohaghegh Dolatabadi and Thalaiyasingam Ajanthan and Sameera Ramasinghe and Chamin P Hewa Koneputugodage and Shamane Siriwardhana and Violetta Shevchenko and Karol Pajak and James Snewin and Gil Avraham and Alexander Long},
journal= {arXiv preprint arXiv:2603.03597},
year = {2026}
}
备注
47 pages, 22 figures, 18 tables