Shampoo：预条件随机张量优化
机器学习
2018-03-05 v2 最优化与控制
机器学习
摘要
预条件梯度方法是优化中最通用且强大的工具之一。然而，预条件需要存储和操作极其庞大的矩阵。我们描述并分析了一种新的结构感知预条件算法，称为 Shampoo，用于张量空间上的随机优化。Shampoo 维护一组预条件矩阵，每个矩阵作用于单一维度，并在其余维度上收缩。我们在随机凸设定下建立了收敛保证，其证明基于矩阵迹不等式。我们使用最先进的深度学习模型进行的实验表明，Shampoo 能够比常用优化器显著更快地收敛。尽管其更新规则更为复杂，Shampoo 每步的运行时间与 SGD、AdaGrad 和 Adam 等简单梯度方法相当。
引用
@article{arxiv.1802.09568,
title = {Shampoo: Preconditioned Stochastic Tensor Optimization},
author = {Vineet Gupta and Tomer Koren and Yoram Singer},
journal= {arXiv preprint arXiv:1802.09568},
year = {2018}
}