基于年龄的编码计算用于分布式学习中的偏差削减
信息论
2020-06-03 v1 分布式、并行与集群计算
机器学习
信号处理
math.IT
摘要
编码计算可用于在存在掉队 worker 时加速分布式学习。梯度向量的部分恢复可进一步减少每次迭代的计算时间；然而，这可能导致有偏估计器，从而减慢收敛甚至引起发散。当掉队行为随时间相关时，估计器偏差将尤为普遍，致使梯度估计器由少数快速服务器主导。为缓解有偏估计器，我们设计了一种用于部分恢复的动态编码框架，其包含随时间改变 worker 处码字与计算顺序的排序算子。为调节恢复频率，我们在动态编码方案设计中采用度量。数值结果表明，所提动态编码策略提升了已恢复计算的时效性，从而减少了模型更新中的偏差，并相较传统静态部分恢复方案加速了收敛。
引用
@article{arxiv.2006.01816,
title = {Age-Based Coded Computation for Bias Reduction in Distributed Learning},
author = {Emre Ozfatura and Baturalp Buyukates and Deniz Gunduz and Sennur Ulukus},
journal= {arXiv preprint arXiv:2006.01816},
year = {2020}
}