基于年龄的工人选择的通信高效局部SGD
信息论
2023-01-02 v3 分布式、并行与集群计算
math.IT
摘要
在参数服务器（PS）框架下的分布式学习的一个主要瓶颈是通信代价，源于PS与工人之间频繁的双向传输。为解决此问题，局部随机梯度下降（SGD）和工人选择分别通过降低通信频率和每轮参与工人数量来加以利用。然而，部分参与可能损害收敛速率，尤其对于异构本地数据集。本文中，为提升通信效率并加速训练过程，我们提出了一种名为AgeSel的新型工人选择策略。AgeSel的关键赋能因素是利用工人的年龄来平衡其参与频率。我们严格建立了所提基于年龄的局部工人部分参与的局部SGD的收敛性。仿真结果表明，所提AgeSel策略能显著减少达到目标精度所需的训练轮数以及通信代价。我们还探究了算法超参数的影响，以彰显基于年龄的工人选择之益处。
引用
@article{arxiv.2210.17073,
title = {Communication-Efficient Local SGD with Age-Based Worker Selection},
author = {Feng Zhu and Jingjing Zhang and Xin Wang},
journal= {arXiv preprint arXiv:2210.17073},
year = {2023}
}