随机梯度下降的 Barzilai-Borwein 步长
最优化与控制
2016-05-24 v2 机器学习
机器学习
摘要
随机梯度下降 (SGD) 方法的主要问题之一是如何在算法运行时选择合适的步长。由于传统的线搜索技术不适用于随机优化算法，SGD 中的常见做法是使用递减步长，或手动调整一个固定步长，这在实践中可能非常耗时。在本文中，我们提出使用 Barzilai-Borwein (BB) 方法为 SGD 及其变体——随机方差缩减梯度 (SVRG) 方法自动计算步长，从而得到两种算法：SGD-BB 和 SVRG-BB。我们证明了 SVRG-BB 对于强凸目标函数具有线性收敛性。作为副产品，我们证明了文献 [10] 中提出的 Option I 下 SVRG 的线性收敛结果，该收敛结果在文献中缺失。在标准数据集上的数值实验表明，SGD-BB 和 SVRG-BB 的性能与具有最佳调整步长的 SGD 和 SVRG 相当，有时甚至更好，并且优于一些先进的 SGD 变体。
引用
@article{arxiv.1605.04131,
title = {Barzilai-Borwein Step Size for Stochastic Gradient Descent},
author = {Conghui Tan and Shiqian Ma and Yu-Hong Dai and Yuqiu Qian},
journal= {arXiv preprint arXiv:1605.04131},
year = {2016}
}