用于正则化经验风险最小化的双重加速随机方差缩减对偶平均法

在本文中，我们开发了一种新的加速随机梯度方法，用于在 mini-batch 设置下高效求解凸正则化经验风险最小化问题。mini-batch 的使用正成为机器学习界的黄金标准，因为 mini-batch 设置能稳定梯度估计并易于充分利用并行计算。我们提出的方法的核心是将我们新的“双重加速”技术与方差缩减技术相结合。我们从理论上分析了所提方法，表明我们的方法大幅改善了先前加速随机方法的 mini-batch 效率，并且本质上仅需要大小为 $\sqrt{n}$ 的 mini-batch 即可实现对非强凸和强凸目标的最优迭代复杂度，其中 $n$ 为训练集大小。此外，我们表明即使在非 mini-batch 设置下，我们的方法对于非强凸和强凸目标均达到了已知最佳的收敛速率。