Hybrid-DCA：随机对偶坐标上升的双重异步方法
分布式、并行与集群计算
2016-11-03 v2 最优化与控制
摘要
在先前的工作中，随机对偶坐标上升（SDCA）已在多核环境中被并行化，其中核心通过共享内存通信，或在多处理器分布式内存环境中，其中处理器通过消息传递进行通信。在本文中，我们为多核集群提出了一种混合SDCA框架，这是最常见的高性能计算环境，由多个节点组成，每个节点具有多个核心及其自身的共享内存。我们将数据分布在节点上，每个节点在其核心上以异步并行方式求解局部问题，然后通过跨节点的异步更新方案聚合局部更新。所提出的双重异步方法对于L-Lipschitz连续损失函数收敛到全局解，如果使用光滑凸损失函数则具有线性收敛速率。广泛的实证比较表明，我们的算法比已知的最佳共享内存方法具有更好的可扩展性，并且比先前的分布式内存方法运行得更快。像LIBSVM仓库中280 GB这样的大数据集无法容纳在单个节点上，因此无法通过并行算法求解。对于这样的数据集，我们的混合算法在16个节点每个使用8个核心的情况下，仅需30秒即可达到对偶间隙10^{-6}，这比已知的最佳分布式算法（如CoCoA+）在16个节点上需要超过300秒显著更快。
引用
@article{arxiv.1610.07184,
title = {Hybrid-DCA: A Double Asynchronous Approach for Stochastic Dual Coordinate Ascent},
author = {Soumitra Pal and Tingyang Xu and Tianbao Yang and Sanguthevar Rajasekaran and Jinbo Bi},
journal= {arXiv preprint arXiv:1610.07184},
year = {2016}
}