具有任意采样的L-SVRG与L-Katyusha
最优化与控制
2019-06-05 v1
摘要
我们开发并分析了一类用于有限和优化的新的非加速与加速无环方差缩减方法。我们的收敛分析依赖于一种新颖的期望平滑条件，该条件将随机梯度估计的方差以上界常数乘以类距离函数的方式限定。这使我们能够轻松处理任意采样方案以及非凸情形。我们对这些期望平滑参数进行了深入估计，并提出了新的重要性采样，当期望小批量大小处于某一范围内时可实现线性加速。此外，建立了这些期望平滑参数与期望可分离过近似(ESO)之间的联系，这也使我们能够利用数据稀疏性。我们的结果将最近提出的无环SVRG与无环Katyusha作为特例予以恢复。
引用
@article{arxiv.1906.01481,
title = {L-SVRG and L-Katyusha with Arbitrary Sampling},
author = {Xun Qian and Zheng Qu and Peter Richtárik},
journal= {arXiv preprint arXiv:1906.01481},
year = {2019}
}
备注
37 pages, 12 figures, 1 table