分布式原始对偶优化中的相加与平均

Chenxin Ma; Virginia Smith; Martin Jaggi; Michael I. Jordan; Peter Richtárik; Martin Takáč

分布式原始对偶优化中的相加与平均

机器学习 2015-07-06 v2

作者: Chenxin Ma , Virginia Smith , Martin Jaggi , Michael I. Jordan , Peter Richtárik , Martin Takáč

摘要

大规模机器学习的分布式优化方法面临通信瓶颈。在高效且准确地聚合来自不同机器的部分工作的同时，难以降低该瓶颈。本文中，我们提出了近期通信高效原始对偶框架(CoCoA)用于分布式优化的一种新颖推广。我们的框架CoCoA+允许在每次迭代时将局部更新加性组合到全局参数，而具有收敛保证的先前方案仅允许保守平均。我们给出了CoCoA及其新变体的更强(原始-对偶)收敛速率保证，并将两种方法的理论推广至涵盖非光滑凸损失函数。我们提供了广泛的实验比较，表明CoCoA+在多个真实世界分布式数据集上性能显著改善，尤其在增加机器数量时。

关键词

分布式优化原始对偶方法通信效率 CoCoA 收敛速率非光滑凸损失机器学习

引用

@article{arxiv.1502.03508,
  title  = {Adding vs. Averaging in Distributed Primal-Dual Optimization},
  author = {Chenxin Ma and Virginia Smith and Martin Jaggi and Michael I. Jordan and Peter Richtárik and Martin Takáč},
  journal= {arXiv preprint arXiv:1502.03508},
  year   = {2015}
}

备注

ICML 2015: JMLR W&CP volume37, Proceedings of The 32nd International Conference on Machine Learning, pp. 1973-1982

分布式原始对偶优化中的相加与平均

摘要

关键词

引用

备注

相关论文