SignSGD：对盲敌手与拜占庭敌手的容错性
机器学习
2022-02-08 v2 机器学习
摘要
分布式学习已成为在多个设备间共享计算来训练不断增长的模型的必要手段。然而，部分设备可能由于故意或非故意的故障而阻碍正常收敛。事实上，在存在一个拜占庭敌手的情况下，基线分布式SGD算法无法收敛。本文关注由SGD衍生出的更具鲁棒性的SignSGD算法。我们给出了SignSGD收敛速率的上界，证明这一新版本对拜占庭敌手具有鲁棒性。我们实现了SignSGD以及试图破坏学习过程的拜占庭策略。因此，我们通过实验提供了经验观测以支持我们的理论。我们的代码可在GitHub https://github.com/jasonakoun/signsgd-fault-tolerance 获取，且使用所提供的参数可复现我们的实验。
引用
@article{arxiv.2202.02085,
title = {SignSGD: Fault-Tolerance to Blind and Byzantine Adversaries},
author = {Jason Akoun and Sebastien Meyer},
journal= {arXiv preprint arXiv:2202.02085},
year = {2022}
}
备注
https://github.com/jasonakoun/signsgd-fault-tolerance