任意数量拜占庭攻击者下的高维分布式梯度下降

对抗攻击对分布式学习系统构成重大挑战，促使众多鲁棒学习方法的提出。然而，大多数现有方法受维数灾难的困扰，即误差随模型参数数量增加而增大。本文在任意数量拜占庭攻击者下，针对高维问题取得进展。我们设计的基石是一种直接的高维半验证均值估计方法。其思想是识别一个具有大方差的子空间。均值垂直于该子空间的分量利用从工作机上传的损坏梯度向量进行估计，而该子空间内的分量则利用辅助数据集估计。因此，大规模损坏数据集与小规模干净数据集的结合比单独使用它们取得了显著更好的性能。我们将该方法作为分布式学习问题的聚合器。理论分析表明，与现有方案相比，我们的方法摆脱了关于维数的$\sqrt{d}$依赖，并达到了极小极大最优统计率。数值结果验证了我们的理论及所提方法的有效性。