HTMuon：通过重尾谱修正改进Muon优化器
几何拓扑
2026-03-12 v1
摘要
Muon最近在 LLM 训练中显示出良好的性能。本文研究如何进一步改进Muon。我们指出，Muon的正交化更新规则抑制了重尾权重谱的出现，并过度强调沿噪声支配方向的训练。基于重尾自正则化（HT-SR）理论，我们提出HTMuon。HTMuon保留了捕获参数相互依赖性的能力，同时产生更重尾的更新，诱导更重尾的权重谱。在 LLM 预训练和图像分类实验中，HTMuon consistently优于最先进的基线方法，并且可以作为现有Muon变体的插件式组件。例如，在C4数据集上进行LLaMA预训练时，HTMuon可将困惑度降低最高0.98。我们进一步理论上表明，HTMuon对应于在Schatten-范数约束下的最陡下降，并在光滑非凸设置下提供收敛性分析。HTMuon的实现已公开于https://github.com/TDCSZ327/HTmuon。
引用
@article{arxiv.2603.10066,
title = {A Gap in Stanfield's Proof of Sachs' Linear Linkless Embedding Conjecture},
author = {Ramin Naimi},
journal= {arXiv preprint arXiv:2603.10066},
year = {2026}
}
备注
4 pages, 4 figures