面向分布式学习的拜占庭鲁棒随机梯度下降：一种受 Lipschitz 启发的坐标wise中位数方法
机器学习
2019-09-11 v1 分布式、并行与集群计算
机器学习
摘要
在本工作中，我们考虑基于随机梯度下降（SGD）的分布式算法在潜在拜占庭攻击者存在的分布式学习中的鲁棒性，攻击者可能向参数服务器发送任意信息以破坏训练过程。为此，我们提出一种新的受 Lipschitz 启发的坐标wise中位数方法（LICM-SGD）来缓解拜占庭攻击。我们表明我们的 LICM-SGD 算法可抵抗多达一半的工作节点为拜占庭攻击者，同时在非凸设置下仍以概率 1 收敛到平稳区域。此外，我们的 LICM-SGD 方法不需要关于攻击者数量和 Lipschitz 常数的任何信息，这使其对实际实现具有吸引力。而且，我们的 LICM-SGD 方法享有最优的 计算时间复杂度，即其时间复杂度与无攻击下标准 SGD 相同。我们进行了大量实验，表明我们的 LICM-SGD 算法在使用 MNIST 和 CIFAR-10 数据集训练多类逻辑回归和卷积神经网络时持续优于现有方法。在我们的实验中，LICM-SGD 还因其低计算时间复杂度实现了快得多的运行时间。
引用
@article{arxiv.1909.04532,
title = {Byzantine-Resilient Stochastic Gradient Descent for Distributed Learning: A Lipschitz-Inspired Coordinate-wise Median Approach},
author = {Haibo Yang and Xin Zhang and Minghong Fang and Jia Liu},
journal= {arXiv preprint arXiv:1909.04532},
year = {2019}
}