TEON：超越图层级Muon的张量正交化，用于大语言模型预训练
机器学习
2026-02-03 v2 人工智能
摘要
Muon优化器通过在每个图层独立地对矩阵级梯度（或动量）进行正交化，展示了在预训练大型语言模型方面的强大经验性性能。本文提出TEON，这是Muon的一个原则性推广，扩展了正交化超出单个图层的方法，通过将神经网络的梯度建模为结构化的高阶张量。我们呈现TEON相对于图层级Muon的改进收敛保证，并进一步开发了基于理论分析并配有相应消融实验的TEON的实际实例。在两个广泛采用的架构上进行评估：从130M到774M参数的GPT-style模型，以及从60M到1B参数的LLaMA-style模型。实验结果表明，TEON在不同模型规模下持续改进训练和验证困惑度，并在各种近似奇异值分解方案下表现出强大的鲁棒性。
引用
@article{arxiv.2601.23261,
title = {TEON: Tensorized Orthonormalization Beyond Layer-Wise Muon for Large Language Model Pre-Training},
author = {Ruijie Zhang and Yequan Zhao and Ziyue Liu and Zhengyang Wang and Dongyang Li and Yupeng Su and Sijia Liu and Zheng Zhang},
journal= {arXiv preprint arXiv:2601.23261},
year = {2026}
}