SAGA 的最优小批量与步长
最优化与控制
2019-10-02 v3 机器学习
机器学习
摘要
近来已证明，称为 JacSketch 方法的一类方差缩减梯度方法的步长依赖于期望光滑常数。特别地，若该期望光滑常数可先验计算，则可安全设置大得多的步长，从而大幅加快收敛速率。我们填补了这一空白，给出期望光滑常数的简单闭式表达式，并通过细致的数值实验验证这些界。利用这些界，且由于 SAGA 算法属于该 JacSketch 族，我们提出一种设置 SAGA 步长与小批量大小的新标准做法，其与数值网格搜索具有竞争力。此外，我们现在可证明 SAGA 算法的总复杂度在小批量大小增至一个预定义值（最优小批量大小）之前随其线性下降。这是随机方差缩减文献中罕见的结果，此前仅对 Katyusha 算法有过证明。最后我们猜想，许多其他随机方差缩减方法亦如此，且我们对期望光滑常数的界与分析是推广这些结果的关键。
引用
@article{arxiv.1902.00071,
title = {Optimal mini-batch and step sizes for SAGA},
author = {Nidham Gazagnadou and Robert M. Gower and Joseph Salmon},
journal= {arXiv preprint arXiv:1902.00071},
year = {2019}
}
备注
34 pages, 27 figures