拜占庭鲁棒的非凸随机梯度下降

我们研究对抗鲁棒的随机分布式优化，其中 $m$ 台机器可独立计算随机梯度，并协作联合优化其局部目标函数。然而，$\alpha$ 比例的机器是$\textit{拜占庭}$式的，即它们可能以任意对抗方式行为。我们在具有挑战性的$\textit{非凸}$情形下考虑该程序的一个变体。我们的主要成果是一种新算法 SafeguardSGD，可证明逃离鞍点并找到非凸目标的近似局部极小值。该算法基于一种新的集中滤波技术，其样本与时间复杂度界在无拜占庭机器存在的随机分布式设定下与已知最佳理论界匹配。我们的算法非常实用：在训练深度神经网络时优于所有先前方法的性能，相对轻量，且是首个能抵御两种近期提出的拜占庭攻击的方法。