快速异步并行随机梯度下降
机器学习
2015-08-25 v1 机器学习
摘要
随机梯度下降~(SGD)及其变体因其高效性和有效性在机器学习中日益流行。为处理大规模问题，研究人员最近提出了多种面向多核系统的并行 SGD 方法。然而，现有的并行 SGD 方法在实际应用中无法取得令人满意的性能。本文通过设计一种异步策略来并行化最近提出的称为随机方差缩减梯度~(SVRG)的 SGD 变体，提出了一种快速异步并行 SGD 方法，称为 AsySVRG。理论与实证结果均表明，AsySVRG 在收敛速率和计算成本方面均优于现有的最先进并行 SGD 方法（如 Hogwild!）。
引用
@article{arxiv.1508.05711,
title = {Fast Asynchronous Parallel Stochastic Gradient Decent},
author = {Shen-Yi Zhao and Wu-Jun Li},
journal= {arXiv preprint arXiv:1508.05711},
year = {2015}
}