带有可靠组合器的并行随机梯度下降
机器学习
2017-05-24 v1 机器学习
摘要
随机梯度下降(SGD)是回归与分类任务中一种众所周知的方法。然而，它在每一步都是内在顺序的算法，当前样本的处理依赖于从先前样本学到的参数。先前使用SGD并行化线性学习器的方法，如HOGWILD!和ALLREDUCE，不尊重这些跨线程依赖，因此可能遭受较差的收敛速度和/或可扩展性。本文提出SYMSGD，一种并行SGD算法，在一阶近似下保留了SGD的顺序语义。每个线程除学习一个模型组合器外还学习一个局部模型，这使得局部模型可被组合以产生与顺序SGD相同的结果。本文在共享内存机器上的6个数据集上评估了SYMSGD的准确率和性能，显示出在16核上相比我们高度优化的顺序基线最高11倍加速，且平均比HOGWILD!快2.2倍。
引用
@article{arxiv.1705.08030,
title = {Parallel Stochastic Gradient Descent with Sound Combiners},
author = {Saeed Maleki and Madanlal Musuvathi and Todd Mytkowicz},
journal= {arXiv preprint arXiv:1705.08030},
year = {2017}
}
备注
16 pages, 4 figures