稀疏凸优化一阶方法中避免同步
分布式、并行与集群计算
2017-12-19 v1 机器学习
最优化与控制
机器学习
摘要
并行计算在加速大数据分析和大规模机器学习(ML)的凸优化方法中发挥了重要作用。然而,在并行环境下,处理器间通信与同步的开销制约了这些优化方法的可扩展性。迭代式 ML 方法对通信成本尤为敏感,因为它们往往每次迭代都需要通信。在本工作中,我们将通信避免 Krylov 子空间方法中成熟的技术推广到支持向量机和近端最小二乘问题的一阶块坐标下降方法。我们的避免同步(SA)变体以浮点运算量和带宽成本增加 倍为代价,将延迟成本按可调因子 降低。我们证明了 SA 变体在数值上稳定,并能在 Cray XC30 超级计算机上获得高达 的大幅加速。
引用
@article{arxiv.1712.06047,
title = {Avoiding Synchronization in First-Order Methods for Sparse Convex Optimization},
author = {Aditya Devarakonda and Kimon Fountoulakis and James Demmel and Michael W. Mahoney},
journal= {arXiv preprint arXiv:1712.06047},
year = {2017}
}