基于自适应异步更新的抗掉队者去中心化学习
机器学习
2024-07-10 v2 分布式、并行与集群计算
摘要
随着机器学习模型大规模训练需求的增长，全去中心化优化方法近来被提倡作为流行参数服务器框架的替代方案。在该范式中，每个工作节点维护最优参数向量的局部估计，并通过等待并平均从邻居获得的所有估计进行迭代更新，然后基于其本地数据集进行修正。然而，同步阶段对掉队者敏感。缓解此影响的一种高效方式是考虑异步更新，其中每个工作节点以其自身节奏计算随机梯度并与其他工作节点通信。遗憾的是，全异步更新受困于掉队者参数的陈旧性。为应对这些局限，我们提出一种全去中心化算法DSGD-AAU，通过自适应确定每个工作节点与之通信的邻居工作节点数量来实现自适应异步更新。我们证明DSGD-AAU实现了收敛的线性加速，并通过大量实验展示了其有效性。
引用
@article{arxiv.2306.06559,
title = {Straggler-Resilient Decentralized Learning via Adaptive Asynchronous Updates},
author = {Guojun Xiong and Gang Yan and Shiqiang Wang and Jian Li},
journal= {arXiv preprint arXiv:2306.06559},
year = {2024}
}