PolarAdamW：离散谱控制与Schur规范等距性在矩阵优化中的分离
机器学习
2026-05-11 v1
摘要
Muon的矩阵级更新将两种不同效应耦合在一起：通过极坐标映射实现的谱控制，以及在正交多plicity空间基底（Schur规范等距性）下的等距性。我们通过PolarAdamW实现了这两种效应的分离，这是一种受控的混合方法，保留了Muon的极坐标谱范数控制，但打破了规范等距性，因为AdamW的坐标逐点预条件器是基底相关的。算法上，PolarAdamW将Muon的Newton-Schulz极坐标映射应用到AdamW的预条件化方向上，而不是应用到原始动量上，计算量与Muon相当。我们证明，Muon的极坐标步骤在多plicity矩阵上具有Schur规范等距性，而AdamW的坐标逐点步骤则不具有。在在四个独立抽取的100类ImageNet-1子集上从头训练DeiT-Tiny模型的情况下（其中多plicity基底自由度微不足道），PolarAdamW在测试准确率上平均比Muon高出1.93个百分点，比AdamW高出9.5个百分点；在300周期的DeiT风格配方下，平均仍在Muon之上5.80个百分点，AdamW之上1.37个百分点。在SO(3)等价的3D点云回归问题上（其中多plicity基底自由度非平凡），排序发生反转：Muon在每个被审计的容量下都超过PolarAdamW，差距随容量增加而扩大。两种矩阵极坐标优化器都继续超过AdamW。这一双向解耦将谱控制与Schur规范等距性分离：前者在标准变换器上与AdamW预条件化良好组合，而后者在多plicity基底自由度结构性非平凡时变得重要。
关键词
引用
@article{arxiv.2605.07067,
title = {PolarAdamW: Disentangling Spectral Control and Schur Gauge-Equivariance in Matrix Optimisation},
author = {Haozhou Zhang},
journal= {arXiv preprint arXiv:2605.07067},
year = {2026}
}