Shampoo 预条件子的新视角
机器学习
2024-06-26 v1 最优化与控制
机器学习
摘要
Shampoo 是一种使用 Kronecker 乘积预条件子的二阶优化算法，最近引起了机器学习界越来越多的关注。Shampoo 使用的预条件子可以被视为 Hessian 矩阵的 Gauss-Newton 分量的近似，或者 Adagrad 维护的梯度协方差矩阵的近似。我们提供了这些矩阵的 Kronecker 乘积近似与 Shampoo 所做近似之间的显式且新颖的联系。我们的联系凸显了关于 Shampoo 近似的一个微妙但常见的误解。特别地，Shampoo 优化器所使用的近似的等价于用于计算上述最优 Kronecker 乘积近似的幂迭代算法的一个单步。在各种数据集和架构上，我们通过实验证明这接近于最优的 Kronecker 乘积近似。此外，对于 Hessian 近似的视角，我们通过实验研究了各种使 Shampoo 计算更高效的实际技巧（例如使用批量梯度和经验 Fisher）对 Hessian 近似质量的影响。
引用
@article{arxiv.2406.17748,
title = {A New Perspective on Shampoo's Preconditioner},
author = {Depen Morwani and Itai Shapira and Nikhil Vyas and Eran Malach and Sham Kakade and Lucas Janson},
journal= {arXiv preprint arXiv:2406.17748},
year = {2024}
}