中文

条件加速惰性随机梯度下降

机器学习 2018-02-19 v5 机器学习

摘要

在这项工作中,我们引入了一种条件加速惰性随机梯度下降算法,具有最优的随机一阶预言机调用次数和收敛速率 O(1/ε2)O(1/\varepsilon^2),改进了 Hazan 和 Kale [2012] 基于投影自由的在线 Frank-Wolfe 随机梯度下降,其收敛速率为 O(1/ε4)O(1/\varepsilon^4)

关键词

引用

@article{arxiv.1703.05840,
  title  = {Conditional Accelerated Lazy Stochastic Gradient Descent},
  author = {Guanghui Lan and Sebastian Pokutta and Yi Zhou and Daniel Zink},
  journal= {arXiv preprint arXiv:1703.05840},
  year   = {2018}
}

备注

37 pages, 9 figures