一种具有快速收敛率的简单随机方差缩减算法
机器学习
2018-06-29 v1 机器学习
摘要
近年来，随机方差缩减梯度方法（如 SVRG、SAGA）、其加速变体（如 Katyusha）以及其在多种不同设定下的扩展（如在线、稀疏、异步、分布式）的研究取得了令人振奋的进展。其中，加速方法具有改进的收敛率，但耦合结构复杂，由于扰动的存在，难以扩展到更多设定（如稀疏和异步）。本文引入一种简单的随机方差缩减算法（MiG），其在强凸和非强凸问题上均享有已知最优的收敛率。此外，我们还给出了其高效的稀疏与异步变体，并从理论上分析了这些设定下的收敛率。最后，针对逻辑回归等多种机器学习问题给出了大量实验，以说明在串行与异步设定中的实际改进。
引用
@article{arxiv.1806.11027,
title = {A Simple Stochastic Variance Reduced Algorithm with Fast Convergence Rates},
author = {Kaiwen Zhou and Fanhua Shang and James Cheng},
journal= {arXiv preprint arXiv:1806.11027},
year = {2018}
}
备注
ICML2018