基于Minibatch-Prox的内存与通信高效的分布式随机优化
机器学习
2017-06-12 v2
摘要
我们提出并分析了一种用于分布式随机优化的方法，该方法是统计最优的，并实现了近线性加速（直至对数因子）。我们的方法允许通信与内存之间的权衡，要么是对数级通信但线性级内存，要么是多项式级通信以及相应的所需内存的多项式级降低。这种通信与内存的权衡是通过minibatch-prox迭代（minibatch passive-aggressive更新）实现的，其中每次迭代都在一个小批量上求解一个子问题。我们为这种minibatch-prox过程提供了一种新的分析，无论小批量大小和平滑度如何，都能达到统计最优速率，从而显著改进了先前的工作。
引用
@article{arxiv.1702.06269,
title = {Memory and Communication Efficient Distributed Stochastic Optimization with Minibatch-Prox},
author = {Jialei Wang and Weiran Wang and Nathan Srebro},
journal= {arXiv preprint arXiv:1702.06269},
year = {2017}
}