核范数球上通信高效的异步随机Frank-Wolfe方法
机器学习
2019-10-18 v1 分布式、并行与集群计算
数值分析
数值分析
机器学习
摘要
大规模机器学习训练面临两个先前的挑战，特别是对于分布式系统中的核范数约束问题：由落后工作节点导致的同步减速，以及高昂的通信成本。在这项工作中，我们提出了一种异步随机Frank-Wolfe方法，该方法首次同时解决了这两个问题，同时成功地保持了与普通SFW相同的收敛速率。我们在Python中（使用MPI）实现了我们的算法，并在Amazon EC2上运行，结果表明，与普通SFW相比，SFW-asyn实现了几乎与机器数量成线性的加速。
引用
@article{arxiv.1910.07703,
title = {Communication-Efficient Asynchronous Stochastic Frank-Wolfe over Nuclear-norm Balls},
author = {Jiacheng Zhuo and Qi Lei and Alexandros G. Dimakis and Constantine Caramanis},
journal= {arXiv preprint arXiv:1910.07703},
year = {2019}
}