基于动态聚类的梯度编码以缓解掉队者问题
信息论
2020-11-04 v1 分布式、并行与集群计算
机器学习
信号处理
math.IT
摘要
在分布式同步梯度下降 (GD) 中，每次迭代完成时间的主要性能瓶颈是较慢的掉队者 (straggling) 工作节点。为了在存在掉队者的情况下加速 GD 迭代，编码分布式计算技术通过向工作节点分配冗余计算来实现。本文提出一种利用动态聚类的新型梯度编码 (GC) 方案，记为 GC-DC，以加速梯度计算。在时间相关的掉队行为下，GC-DC 旨在根据前一次迭代中的掉队行为来调节每个聚类中的掉队工作节点数量。我们通过数值实验表明，与原始 GC 方案相比，GC-DC 在平均完成时间（每次迭代）上取得了显著改善，且通信负载未增加。
引用
@article{arxiv.2011.01922,
title = {Gradient Coding with Dynamic Clustering for Straggler Mitigation},
author = {Baturalp Buyukates and Emre Ozfatura and Sennur Ulukus and Deniz Gunduz},
journal= {arXiv preprint arXiv:2011.01922},
year = {2020}
}