SGD的统一理论：方差缩减、采样、量化与坐标下降
最优化与控制
2019-05-28 v1 机器学习
数值分析
摘要
在本文中，我们介绍了对 proximal 随机梯度下降（{\tt SGD}）一大类变体的统一分析，这些变体迄今为止需要不同的直觉、收敛性分析，具有不同的应用，并且是在不同领域中分别开发的。我们表明，我们的框架包含了带或不带以下技巧及其组合的方法：方差缩减、重要性采样、小批量采样、量化和坐标子采样。作为副产品，我们获得了 {\tt SGD} 与随机坐标下降（{\tt RCD}）方法的第一个统一理论、方差缩减与非方差缩减 {\tt SGD} 方法的第一个统一理论，以及量化与非量化方法的第一个统一理论。我们方法的一个关键是对迭代变量和随机梯度的一个参数化假设。在单一定理中，我们在此假设和损失函数的强拟凸性下建立了线性收敛结果。每当我们将现有方法作为特例恢复时，我们的定理给出了已知最好的复杂度结果。我们的方法可用于启发新的有用方法的开发，并提供预先证明的收敛保证。为说明我们方法的优势，我们开发了 {\tt SGD} 的五个新变体，并通过数值实验展示了它们的一些性质。
引用
@article{arxiv.1905.11261,
title = {A Unified Theory of SGD: Variance Reduction, Sampling, Quantization and Coordinate Descent},
author = {Eduard Gorbunov and Filip Hanzely and Peter Richtárik},
journal= {arXiv preprint arXiv:1905.11261},
year = {2019}
}
备注
38 pages, 4 figures, 2 tables