缩小SVRG理论与实践的差距

在求解经验风险最小化问题的最早方差缩减随机方法中，有SVRG方法（Johnson & Zhang 2013）。SVRG是一种基于内外循环的方法：在外循环中计算参考全梯度，之后执行$m \in \mathbb{N}$步内循环，利用参考梯度构建当前梯度的方差缩减估计。SVRG方法及其分析的简洁性催生了诸多扩展与变体，甚至用于非凸优化。我们通过使用任意采样，提供了比以往更通用的SVRG分析，借此可通过单一定理分析几乎所有形式的小批量（mini-batching）。此外，我们的分析聚焦于更实用的SVRG变体，包括无环SVRG（Hofman等2015，Kovalev等2019，Kulunchakov与Mairal 2019）的一种新变体，以及k-SVRG（Raj与Stich 2018）的一种变体，其中$m=n$，$n$为数据点数目。由于我们的设定与分析反映实际做法，我们得以依据理论设定小批量大小与步长等参数，从而在实践中产生更高效算法，正如我们在大量数值实验中所展示的。