面向分布式学习中掉队者缓解的随机梯度编码
信息论
2019-05-15 v1 math.IT
摘要
我们考虑存在掉队者时的分布式梯度下降。近期关于梯度编码和近似梯度编码的工作已表明如何在分布式梯度下降中添加冗余，以保证即使某些工作节点是掉队者——即缓慢或无响应——也能收敛。在这项工作中，我们提出一种称为随机梯度编码（SGC）的近似梯度编码方案，其在掉队者为随机时生效。SGC 根据成对平衡设计将数据点冗余分配给工作节点，然后直接忽略掉队者。我们证明 SGC 的收敛速率反映了批量随机梯度下降（SGD）在 损失函数下的收敛速率，并展示了收敛速率如何随冗余度提升。我们还给出了更一般凸损失函数的界。我们通过经验表明，SGC 仅需少量冗余即可应对大量掉队者，并且在掉队者数量较多时能优于现有的近似梯度码。
引用
@article{arxiv.1905.05383,
title = {Stochastic Gradient Coding for Straggler Mitigation in Distributed Learning},
author = {Rawad Bitar and Mary Wootters and Salim El Rouayheb},
journal= {arXiv preprint arXiv:1905.05383},
year = {2019}
}
备注
Part of this work is submitted to IEEE Information Theory Workshop (ITW) for possible publication