ByGARS：可容忍任意数量攻击者的拜占庭SGD
机器学习
2020-12-09 v2 分布式、并行与集群计算
机器学习
摘要
我们提出两种新颖的随机梯度下降算法ByGARS和ByGARS++，用于存在任意数量拜占庭敌手情况下的分布式机器学习。在这些算法中，工作节点的声誉分数由服务器利用辅助数据集计算，该声誉分数随后用于聚合随机梯度下降的梯度。ByGARS++的计算复杂度与通常的分布式随机梯度下降方法相同，仅在每次迭代中额外增加一个内积计算。我们证明使用这些声誉分数进行梯度聚合对任意数量乘性噪声拜占庭敌手具有鲁棒性，并利用两时间尺度随机逼近理论证明了在强凸损失函数下的收敛性。我们使用MNIST和CIFAR-10数据集，针对几乎所有最先进的拜占庭攻击，展示了这些算法在非凸学习问题上的有效性。我们还表明所提算法可同时抵御多种不同类型的攻击。
引用
@article{arxiv.2006.13421,
title = {ByGARS: Byzantine SGD with Arbitrary Number of Attackers},
author = {Jayanth Regatti and Hao Chen and Abhishek Gupta},
journal= {arXiv preprint arXiv:2006.13421},
year = {2020}
}
备注
16 pages, 8 figures. Added more empirical results against state-of-the-art attacks