通过步长规则加速小批量SARAH
机器学习
2019-06-21 v1 最优化与控制
机器学习
摘要
随机递归梯度算法（StochAstic Recursive grAdient algoritHm, SARAH）最初针对凸优化提出，并被证明对一般非凸优化同样有效，因其更新随机梯度估计的简单递归框架而受到广泛关注。SARAH的性能在很大程度上依赖于步长序列的选择。然而，SARAH及其变体通常采用由经验调优的最佳步长，这在实际应用中耗时费力。受此差距启发，我们提出了Barzilai-Borwein（BB）方法的一种变体，称为随机Barzilai-Borwein（Random Barzilai-Borwein, RBB）方法，用于在小批量设置下为SARAH计算步长，从而得到一种新的SARAH方法：MB-SARAH-RBB。我们证明了MB-SARAH-RBB对于强凸目标函数在期望意义下线性收敛。我们分析了MB-SARAH-RBB的复杂度，并表明其优于原始方法。在标准数据集上的数值实验表明，MB-SARAH-RBB优于或与最先进算法相当。
引用
@article{arxiv.1906.08496,
title = {Accelerating Mini-batch SARAH by Step Size Rules},
author = {Zhuang Yang and Zengping Chen and Cheng Wang},
journal= {arXiv preprint arXiv:1906.08496},
year = {2019}
}