面向容忍掉队者的分布式学习的动态聚类梯度编码

分布式实现在加速大规模机器学习应用中至关重要。分布式梯度下降（GD）被广泛用于通过将数据集分布到多个工作节点来并行化学习任务。分布式同步 GD 中每轮完成时间的一个显著性能瓶颈是 $掉队$ 工作节点。近来引入了编码分布式计算技术，通过向工作节点分配冗余计算来缓解掉队者并加速 GD 迭代。本文考虑梯度编码（GC），并提出一种新颖的动态 GC 方案，该方案向工作节点分配冗余数据，以获得根据过去掉队行为从一组可能码中动态选择的灵活性。具体而言，我们考虑带聚类的 GC，并通过在每轮动态形成聚类来调节每个聚类中的掉队者数量；因此，该方案称为 $动态聚类梯度编码$（GC-DC）。在时间相关的掉队行为下，GC-DC 随时间适应掉队行为而获益，使得在每轮中，GC-DC 基于过去的掉队行为旨在将掉队者尽可能均匀地分布到各聚类中。对于同质和异质工作节点模型，我们均通过数值表明，与原始 GC 方案相比，GC-DC 在通信负载不增加的情况下显著改善了平均每轮完成时间。