缠结子: 当 SignSGD 被掩埋

最近，Muon 及相关谱优化器在作为可扩展随机方法时展现出强大的经验性能，常常超过 Adam。然而，其行为仍鲜有了解。我们分析了包括 Muon 在内的随机谱优化器，在高维矩阵值最小二乘问题上进行研究。我们推导了显式确定性动力学，为研究学习行为提供了可处理的框架，重点关注（随机）SignSVD（Muon 所近似）和（随机）SignSGD（后者作为 Adam 的代理）。我们的分析表明，对于大批量大小，SignSVD 对数据协方差谱进行平方根 preconditioning，而对于小批量大小，较小的本征模态则表现为 SGD，导致收敛速度减慢。我们与 SignSGD 形成对比，后者对于通用协方差执行 no preconditioning 且没有转变，从而导致不同的最优学习率和收敛特征。对于各向同性数据，这两种方法在常数因子上匹配，但在各向异性数据时行为不同。对幂律协方差模型（数据指数 $\alpha$ 和目标指数 $\beta$）的分析显示，在 $(\alpha,\beta)$ 平面中存在三个相：一个 SignSGD 被统一偏好、一个 SignSVD 被统一偏好，以及一个两种方法在性能上 exhibit trade-off 的相。