存在落后节点时基于 1 比特梯度编码的分布式学习
机器学习
2024-03-25 v1 分布式、并行与集群计算
摘要
本文研究了存在落后节点时的分布式学习（DL）问题。针对此问题，基于梯度编码的分布式学习方法已被广泛研究，该方法将训练数据冗余分配给各个工作节点，以保证在部分节点落后时仍能收敛。然而，这些方法要求工作节点在学习过程中传输实值向量，导致极高的通信负担。为克服这一缺陷，我们提出了一种基于 1 比特梯度编码的新型分布式学习方法（1-bit GCDL），其中工作节点传输由本地计算梯度编码而成的 1 比特数据，以减少通信开销。我们从理论上为凸损失函数和非凸损失函数均提供了该方法的收敛保证。实验表明，1-bit GC-DL 优于基线方法，在相同通信开销下实现了更好的学习性能。
引用
@article{arxiv.2403.14716,
title = {Distributed Learning based on 1-Bit Gradient Coding in the Presence of Stragglers},
author = {Chengxi Li and Mikael Skoglund},
journal= {arXiv preprint arXiv:2403.14716},
year = {2024}
}
备注
Accepted by IEEE TCOM