面向拜占庭容错学习的分布式动量
机器学习
2020-03-10 v2 密码学与安全
分布式、并行与集群计算
摘要
动量是梯度下降的一种变体，因其对收敛的益处而被提出。在分布式设置中，动量可在服务器端或工作端实现。当服务器使用的聚合规则为线性时，与加法的交换性使两种部署等价。然而，鲁棒性与隐私性是放弃线性聚合规则的动机之一。在本工作中，我们展示了在工作端使用动量对鲁棒性的益处。我们首先证明，在工作端计算动量降低了服务器端梯度估计的方差-范数之比，从而增强了拜占庭容错聚合规则。随后我们通过大量实验展示了工作端动量对分布式 SGD 的鲁棒性效果。
引用
@article{arxiv.2003.00010,
title = {Distributed Momentum for Byzantine-resilient Learning},
author = {El-Mahdi El-Mhamdi and Rachid Guerraoui and Sébastien Rouault},
journal= {arXiv preprint arXiv:2003.00010},
year = {2020}
}
备注
Source code (for academic use only): https://github.com/LPD-EPFL/ByzantineMomentum