面向机器学习及相关应用的复合随机平均梯度法
机器学习
2018-09-10 v2 计算复杂性
机器学习
摘要
许多机器学习、统计推断和投资组合优化问题需要最小化期望函数值复合（CEVF）。特别令人感兴趣的是此类复合优化问题的有限和版本（FS-CEVF）。结合随机复合梯度下降（SCGD）与随机方差缩减梯度下降（SVRG）方法的复合随机方差缩减梯度（C-SVRG）方法是 FS-CEVF 问题的最先进方法。我们引入复合随机平均梯度下降（C-SAG），这是随机平均梯度法（SAG）的一种新颖扩展，用于最小化有限和函数的复合。C-SAG 像 SAG 一样，通过结合先前梯度信息的内存来估计梯度。我们给出了 C-SAG 的理论分析，表明当目标函数强凸时，C-SAG 像 SAG 和 C-SVRG 一样达到线性收敛速率；然而，C-SAG 每次迭代达到比 C-SVRG 更低的预言机查询复杂度。最后，我们给出的实验结果表明，C-SAG 比全梯度（FG）以及 C-SVRG 收敛得明显更快。
引用
@article{arxiv.1809.01225,
title = {Compositional Stochastic Average Gradient for Machine Learning and Related Applications},
author = {Tsung-Yu Hsieh and Yasser EL-Manzalawy and Yiwei Sun and Vasant Honavar},
journal= {arXiv preprint arXiv:1809.01225},
year = {2018}
}