异构数据高维情形下的拜占庭鲁棒SGD

我们研究主从架构下遭受拜占庭攻击的分布式随机梯度下降（SGD）。我们考虑异构数据模型，其中不同工作节点可能拥有不同的本地数据集，且不对数据生成做任何概率假设。我们算法的核心是使用Steinhardt等人（ITCS 2018）提出的用于鲁棒均值估计的多项式时间离群点过滤过程来滤除 corrupted 梯度。为了能在工作节点计算随机梯度的异构数据设定中应用其过滤过程，我们推导了一个新的矩阵集中不等式，其本身可能具有独立意义。我们对光滑强凸和非凸目标提供了收敛分析。我们在本地随机梯度有界方差假设以及一个确定性的数据集条件（即梯度不相似度）下导出结果；对这两个量，我们在统计异构数据模型中给出了具体界。我们给出了随机梯度小批量规模与近似误差之间的权衡。我们的算法可容忍至多1/4比例的拜占庭工作节点。它能在强凸设定下以指数速度找到近似最优参数，并在非凸设定下以线性速度达到近似驻点，从而与无拜占庭攻击时普通SGD的收敛速率相匹配。我们还提出并分析了一种带梯度压缩的拜占庭鲁棒SGD算法，其中工作节点发送其梯度的k个随机坐标。在温和条件下，我们展示了相较无压缩算法在通信比特数和解码复杂度上节省d/k因子，且不影响其收敛速率（阶数上）与近似误差。