DeMuon：基于图的去中心化矩阵优化的 muon 方法
最优化与控制
2025-10-03 v1 人工智能
机器学习
多智能体系统
系统与控制
系统与控制
摘要
本文提出 DeMuon—a 用于给定通信拓扑上的去中心化矩阵优化的方法。DeMuon 采用 Newton-Schulz 迭代实现矩阵正交化——这一技术继承自其集中式前身 Muon——并采用梯度跟踪技术来缓解局部函数的异构性。在重尾噪声条件下和额外的温和假设下，我们建立了 DeMuon 达到近似随机稳态点的迭代复杂度。这一复杂度结果在对目标容忍度的依赖方面与集中式算法的最佳已知复杂度界相当。据我们所知，DeMuon 是首个在具有可证明复杂度保证的图上进行去中心化 Muon 扩展。我们对去中心化 transformer 预训练进行初步数值实验，实验涉及不同连通性的图。我们的numerical结果显示，DeMuon 在不同网络拓扑下相较于其他流行去中心化算法具有明显的改进余地。
引用
@article{arxiv.2510.01377,
title = {DeMuon: A Decentralized Muon for Matrix Optimization over Graphs},
author = {Chuan He and Shuyi Ren and Jingwei Mao and Erik G. Larsson},
journal= {arXiv preprint arXiv:2510.01377},
year = {2025}
}