梯度编码
机器学习
2017-03-09 v2 分布式、并行与集群计算
信息论
机器学习
math.IT
统计计算
摘要
我们提出了一种新的编码理论框架，用于缓解分布式学习中的掉队者问题。我们展示了如何通过仔细复制数据块并对梯度进行编码，为同步梯度下降提供对故障和掉队者的容忍度。我们在 python（使用 MPI）中实现了我们的方案并在 Amazon EC2 上运行，展示了我们在运行时间和泛化误差方面与基线方法的比较。
引用
@article{arxiv.1612.03301,
title = {Gradient Coding},
author = {Rashish Tandon and Qi Lei and Alexandros G. Dimakis and Nikos Karampatziakis},
journal= {arXiv preprint arXiv:1612.03301},
year = {2017}
}