一种通信高效的分布式无投影优化算法
最优化与控制
2018-05-22 v1 分布式、并行与集群计算
机器学习
摘要
分布式优化近年来引起了广泛关注。本文提出一种名为分布式条件梯度滑移（DCGS）的分布式无投影算法。与最先进的分布式 Frank-Wolfe 算法相比，我们的算法在更实际的假设下达到相同的通信复杂度。与基于共识的算法不同，DCGS 基于原对偶算法，产生了模块化的分析，每当集中式 Frank-Wolfe 可被改进时便可利用该分析改善线性预言复杂度。我们展示了这一优势，并表明当可行域为多面体时，线性预言复杂度可降低至与通信复杂度几乎同阶。最后我们在 Lasso 与矩阵补全上给出实验结果，显示相较现有分布式 Frank-Wolfe 算法有显著性能提升。
引用
@article{arxiv.1805.07841,
title = {Communication-Efficient Projection-Free Algorithm for Distributed Optimization},
author = {Yan Li and Chao Qu and Huan Xu},
journal= {arXiv preprint arXiv:1805.07841},
year = {2018}
}