AdamW 样式 Shampoo 收敛率分析：统一单边与双边预条件化

本文研究了 AdamW 样式 Shampoo 优化器，这是一种经典 Shampoo 的有效实现，显著赢得了 AlgoPerf 神经网络训练算法竞赛的外部调优赛。我们的分析统一了单边和双边预条件化，建立了收敛率 $\frac{1}{K}\sum_{k=1}^K E\left[\|\nabla f(X_k)\|_*\right]\leq O(\frac{\sqrt{m+n}C}{K^{1/4}})$，其中 $K$ 表示迭代次数，$(m,n)$ 表示矩阵参数的大小，$C$ 匹配 SGD 最优收敛率常数。理论上，我们有 $\|\nabla f(X)\|_F\leq \|\nabla f(X)\|_*\leq \sqrt{m+n}\|\nabla f(X)\|_F$，支持我们收敛率可视为在理想情况下 $\|\nabla f(X)\|_*= \Theta(\sqrt{m+n})\|\nabla f(X)\|_F$ 且 $m$ 与 $n$ 平衡时，SGD 最优收敛率 $\frac{1}{K}\sum_{k=1}^KE\left[\|\nabla f(X_k)\|_F\right]\leq O(\frac{C}{K^{1/4}})$ 的类比结果。