DSCOVR：用于异步分布式优化的随机原始 - 对偶分块坐标算法
最优化与控制
2017-10-17 v1 机器学习
摘要
大数据机器学习通常涉及大型优化模型。对于机器集群上的分布式优化，频繁通信和同步所有模型参数（优化变量）可能代价高昂。一种有前景的解决方案是使用参数服务器存储模型参数的不同子集，并利用本地数据集在不同机器上异步更新它们。本文聚焦于具有凸损失函数的大型线性模型的分布式优化，提出了一族随机原始 - 对偶分块坐标算法，特别适用于带有参数服务器的异步分布式实现。具体而言，我们处理此类问题的鞍点形式，该形式允许同时进行数据和模型划分，并通过具有方差缩减的双重随机坐标优化（DSCOVR）利用其结构。与其他一阶分布式算法相比，我们表明 DSCOVR 可能需要更少的总体计算和通信量，以及更少甚至无需同步。我们讨论了 DSCOVR 算法的实现细节，并在工业分布式计算系统上展示了数值实验。
引用
@article{arxiv.1710.05080,
title = {DSCOVR: Randomized Primal-Dual Block Coordinate Algorithms for Asynchronous Distributed Optimization},
author = {Lin Xiao and Adams Wei Yu and Qihang Lin and Weizhu Chen},
journal= {arXiv preprint arXiv:1710.05080},
year = {2017}
}