Sketchy：基于频繁方向法的内存高效自适应正则化

利用对角项以外信息的自适应正则化方法在许多任务上表现出最先进的性能，但在内存和运行时间方面可能代价高昂。我们发现，深度学习中 Kronecker 分解的梯度协方差矩阵谱集中于一个在训练过程中不断变化的小的前导特征子空间，这促使我们采用低秩草图方法。我们描述了一种通用方法，使用 Frequent Directions (FD) 草图来降低维护矩阵预条件子的内存与计算需求。虽然先前的方法已探索将 FD 应用于二阶优化，我们提出了一种新颖的分析，可在资源需求与秩 $k$ 下遗憾保证的退化之间实现高效折中：在维度 $d$ 的在线凸优化 (OCO) 设定下，我们仅使用 $dk$ 内存即可匹配全矩阵 $d^2$ 内存的遗憾，误差不超过梯度协方差底部 $d-k$ 个特征值的加性误差。此外，我们展示了将我们的工作扩展到 Shampoo 的方法，所得方法在质量上与 Shampoo 和 Adam 具有竞争力，但仅需亚线性内存来跟踪二阶矩。