加速方差缩减随机梯度方法
最优化与控制
2020-10-30 v3
摘要
方差缩减是改善随机梯度下降缓慢收敛的关键工具。然而，仅有少数方差缩减方法已被证明能直接受益于 Nesterov 加速技术，以匹配加速梯度方法的收敛速率。此类方法依赖于“负动量”，一种进一步方差缩减的技术，通常特定于 SVRG 梯度估计量。本工作中，我们表明负动量对于加速是不必要的，并开发了一个通用加速框架，使所有流行的方差缩减方法都能达到加速收敛速率。这些速率中出现的常数，包括其对函数个数 的依赖性，随梯度估计量的均方误差和偏差而缩放。在一系列数值实验中，我们展示了使用我们框架的 SAGA、SVRG、SARAH 和 SARGE 的版本显著优于非加速版本，并与使用负动量的算法相比具有优势。
引用
@article{arxiv.1910.09494,
title = {Accelerating Variance-Reduced Stochastic Gradient Methods},
author = {Derek Driggs and Matthias J. Ehrhardt and Carola-Bibiane Schönlieb},
journal= {arXiv preprint arXiv:1910.09494},
year = {2020}
}
备注
33 pages