Dion2：一种简单方法用于缩减Muon中的矩阵
机器学习
2025-12-22 v1 分布式、并行与集群计算
摘要
Muon优化器在实际性能和理论依据方面表现优异，但其正交化步骤的超线性计算成本随规模而增。为缓解此成本，已有多个研究尝试减少正交化步骤中输入矩阵的大小。我们引入Dion2，一种比先前方法更简单的方法，用于缩减Muon计算中涉及的矩阵。总体而言，Dion2在每个迭代步骤中选择部分行或列，仅对这些行或列进行正交化。这种抽样过程使更新稀疏化，减少计算和通信成本，从而提高Muon的可扩展性。
引用
@article{arxiv.2512.16928,
title = {Dion2: A Simple Method to Shrink Matrix in Muon},
author = {Kwangjun Ahn and Noah Amsel and John Langford},
journal= {arXiv preprint arXiv:2512.16928},
year = {2025}
}
备注
https://github.com/microsoft/dion/