Dion：分布正交化更新
机器学习
2025-09-16 v3 人工智能
最优化与控制
摘要
正交化更新可加速训练、提升稳定性并实现鲁棒的超参数迁移，但现有方法如 Muon 依赖稠密矩阵运算，与大规模 LLM 训练中的分片权重冲突，导致计算和通信成本高。我们引入 Dion（Distributed Orthonormalization，分布正交化），一种可扩展且高效的更新规则，将牛顿-施莱茨迭代替换为动量缓冲区上的摊销幂迭代，避免完整矩阵重构，并能无缝集成权重分片。基于误差反馈的秩分数参数实现低秩更新，在质量与显著成本节省之间取得平衡。在 160M 至 3B 参数的语言模型上，Dion 保持正交化更新的优势，同时显著降低大规模下的墙钟时间，成为下一代基础模型的实用优化器。代码已公开：https://github.com/microsoft/dion/
引用
@article{arxiv.2504.05295,
title = {Dion: Distributed Orthonormalized Updates},
author = {Kwangjun Ahn and Byron Xu and Natalie Abreu and Ying Fan and Gagik Magakyan and Pratyusha Sharma and Zheng Zhan and John Langford},
journal= {arXiv preprint arXiv:2504.05295},
year = {2025}
}
备注
"Version 3" with various new updates