驯服野性：Hogwild!式算法的统一分析
机器学习
2015-10-06 v2 最优化与控制
机器学习
摘要
随机梯度下降(SGD)是用于各种机器学习问题的普遍算法。研究人员和工业界开发了若干技术来优化SGD的运行性能，包括异步执行和降低精度。我们的主要成果是一种基于鞅的分析，使我们能够捕获可能由这些技术产生的丰富噪声模型。具体而言，我们以三种方式使用我们的新分析：(1) 我们推导了凸情形(Hogwild!)在放宽问题稀疏性假设下的收敛速率；(2) 我们分析了用于非凸矩阵问题（包括矩阵补全）的异步SGD算法；(3) 我们设计并分析了一种称为Buckwild!的使用低精度算术的异步SGD算法。我们通过实验表明，我们的算法在现代硬件上针对各种问题高效运行。
引用
@article{arxiv.1506.06438,
title = {Taming the Wild: A Unified Analysis of Hogwild!-Style Algorithms},
author = {Christopher De Sa and Ce Zhang and Kunle Olukotun and Christopher Ré},
journal= {arXiv preprint arXiv:1506.06438},
year = {2015}
}