非凸优化的快速增量聚合梯度法
最优化与控制
2016-03-22 v1 机器学习
机器学习
摘要
我们分析了用于优化形如 的非凸问题的快速增量聚合梯度法。具体地，我们在增量一阶预言机（Incremental First-order Oracle）框架下分析了SAGA算法，并证明其收敛到驻点的速度可证明地快于梯度下降与随机梯度下降两者。我们还讨论了Polyak的一类特殊非凸问题，对此SAGA以线性速率收敛到全局最优。最后，我们分析了具有实际价值的SAGA正则化与小批量变体。据我们所知，本文给出了增量聚合梯度法用于非凸问题快速收敛的首次分析。
引用
@article{arxiv.1603.06159,
title = {Fast Incremental Method for Nonconvex Optimization},
author = {Sashank J. Reddi and Suvrit Sra and Barnabas Poczos and Alex Smola},
journal= {arXiv preprint arXiv:1603.06159},
year = {2016}
}