用于规避掉队者的去中心化学习中的梯度编码
机器学习
2024-06-17 v3 信号处理
摘要
在本文中，我们考虑了存在掉队者情况下的去中心化学习问题。尽管梯度编码技术已被开发用于分布式学习以规避掉队者（其中设备发送带有冗余训练数据的编码梯度），但很难将这些技术直接应用于去中心化学习场景。为解决此问题，我们提出了一种新的基于 Gossip 的带梯度编码的去中心化学习方法（GOCO）。在所提出的方法中，为避免掉队者的负面影响，基于随机梯度编码框架在本地使用编码梯度更新参数向量，随后以 Gossip 方式进行平均。我们分析了 GOCO 在强凸损失函数下的收敛性能。我们还提供了仿真结果，以证明与基线方法相比，所提出的方法在学习性能方面具有优越性。
引用
@article{arxiv.2402.04193,
title = {Gradient Coding in Decentralized Learning for Evading Stragglers},
author = {Chengxi Li and Mikael Skoglund},
journal= {arXiv preprint arXiv:2402.04193},
year = {2024}
}