参数服务器上迭代收敛分布式机器学习的掉队者问题的实证研究
分布式、并行与集群计算
2023-08-31 v1 机器学习
摘要
本研究的目的是测试当前掉队者缓解技术在不同重要迭代收敛机器学习(ML)算法上的有效性,包括矩阵分解(MF)、多项逻辑回归(MLR)和隐狄利克雷分配(LDA)。实验使用 FlexPS 系统实施,该系统是采用参数服务器架构的最新系统实现。实验采用 bulk synchronous parallel (BSP) 计算模型来考察参数服务器上迭代收敛分布式机器学习的掉队者问题。此外,本研究通过注入通用掉队者模式并执行最新缓解技术,分析了针对并行学习问题的参数服务器策略的实验安排。研究结论的重要意义在于,它们将为进一步研究该问题提供必要的平台,并使研究者能够比较针对不同应用的各种方法。因此,预期该成果将促进新技术的开发以及解决该问题的新视角的形成。
引用
@article{arxiv.2308.15482,
title = {Empirical Study of Straggler Problem in Parameter Server on Iterative Convergent Distributed Machine Learning},
author = {Benjamin Wong},
journal= {arXiv preprint arXiv:2308.15482},
year = {2023}
}
备注
6 pages, 8 figures