少于单次遍历：随机控制随机梯度方法
最优化与控制
2019-05-17 v3 数据结构与算法
机器学习
机器学习
摘要
我们开发并分析了一种基于梯度的优化过程，我们称之为随机控制随机梯度（SCSG）。作为SVRG系列算法的一员，SCSG利用两个尺度的梯度估计，其中较快尺度的更新次数由几何随机变量控制。与该系列中大多数现有算法不同，SCSG的计算成本和通信成本不一定会随样本量线性增长；实际上，当目标精度较低时，这些成本与无关。在真实数据集上的实验评估证实了SCSG的有效性。
引用
@article{arxiv.1609.03261,
title = {Less than a Single Pass: Stochastically Controlled Stochastic Gradient Method},
author = {Lihua Lei and Michael I. Jordan},
journal= {arXiv preprint arXiv:1609.03261},
year = {2019}
}
备注
Add Lemma B.4