Zeno++：鲁棒的全异步 SGD
机器学习
2021-05-11 v5 分布式、并行与集群计算
机器学习
摘要
我们提出 Zeno++，一种可容忍工人拜占庭故障的鲁棒异步随机梯度下降（SGD）新算法。与先前工作不同，Zeno++ 去除了对工人-服务器通信的一些不现实限制，允许来自匿名工人的全异步更新、任意滞后的工人更新，以及无界数量拜占庭工人的可能。其核心思想是估计候选梯度应用后损失值的下降量，其中较大的下降值表明该更新带来了优化进展。我们证明了在拜占庭故障下 Zeno++ 针对非凸问题的收敛性。实验结果表明 Zeno++ 优于现有方法。
引用
@article{arxiv.1903.07020,
title = {Zeno++: Robust Fully Asynchronous SGD},
author = {Cong Xie and Sanmi Koyejo and Indranil Gupta},
journal= {arXiv preprint arXiv:1903.07020},
year = {2021}
}
备注
ICML version with some additional remarks related to the acceptance rate of Byzantine validation, and also with the full version of error bounds in the theorems