利用随机平均梯度最小化有限和

我们提出了随机平均梯度 (SAG) 方法，用于优化有限个光滑凸函数之和。与随机梯度 (SG) 方法类似，SAG 方法的迭代成本与和式中的项数无关。然而，通过利用先前梯度值的记忆，SAG 方法实现了比黑盒 SG 方法更快的收敛速率。一般而言，收敛速率从 $O(1/k^{1/2})$ 提升至 $O(1/k)$；当和式为强凸时，收敛速率从次线性的 $O(1/k)$ 提升至 $O(p^k)$ 形式的线性收敛速率（其中 $p < 1$）。此外，在许多情况下，就梯度评估次数而言，新方法的收敛速率也快于黑盒确定性梯度方法。数值实验表明，新算法通常显著优于现有的 SG 和确定性梯度方法，且通过使用非均匀采样策略可进一步提升性能。