异步随机优化的扰动迭代分析
机器学习
2016-03-29 v2 分布式、并行与集群计算
数据结构与算法
机器学习
最优化与控制
摘要
我们引入并分析了随机优化方法，其中每次梯度更新的输入受到有界噪声的扰动。我们表明，该框架构成了分析随机优化算法异步实现的统一方法的基础。在此框架中，异步随机优化算法可以被视为在含噪输入上运行的串行方法。利用我们的扰动迭代框架，我们对 Hogwild! 算法和异步随机坐标下降提供了新的分析，这些分析比以往的分析更简单，去除了先前模型的许多假设，并且在某些情况下给出了收敛速度的改进上界。我们进而应用我们的框架开发并分析了 KroMagnon：一种新颖的、并行的、稀疏的随机方差缩减梯度（SVRG）算法。我们在一台 16 核机器上通过实验证明，稀疏且并行的 SVRG 版本在某些情况下比标准 SVRG 算法快四个数量级以上。
引用
@article{arxiv.1507.06970,
title = {Perturbed Iterate Analysis for Asynchronous Stochastic Optimization},
author = {Horia Mania and Xinghao Pan and Dimitris Papailiopoulos and Benjamin Recht and Kannan Ramchandran and Michael I. Jordan},
journal= {arXiv preprint arXiv:1507.06970},
year = {2016}
}
备注
30 pages