停止浪费我的梯度：实用 SVRG
机器学习
2016-08-06 v1 最优化与控制
统计计算
机器学习
摘要
我们提出并分析了几种提高随机方差减少梯度 (SVRG) 方法性能的策略。我们首先证明，在控制变量的误差呈递减序列的情况下，这些方法的收敛速率可以得到保持，并利用这一点推导出 SVRG 的变体，这些变体使用增批策略来减少早期迭代中所需的梯度计算次数。我们进一步 (i) 展示了如何利用支持向量来减少后期迭代中的梯度计算次数，(ii) 证明常用的正则化 SVRG 迭代是合理的并能改善收敛速率，(iii) 考虑了替代的小批量选择策略，以及 (iv) 考虑了该方法的泛化误差。
引用
@article{arxiv.1511.01942,
title = {Stop Wasting My Gradients: Practical SVRG},
author = {Reza Babanezhad and Mohamed Osama Ahmed and Alim Virani and Mark Schmidt and Jakub Konečný and Scott Sallinen},
journal= {arXiv preprint arXiv:1511.01942},
year = {2016}
}