拜占庭鲁棒的高维联邦学习

我们研究在存在恶意/拜占庭客户端情况下的带局部迭代的随机梯度下降（SGD），其动机来自联邦学习。客户端并非在每次迭代中与中心服务器通信，而是维护各自的局部模型，基于自身数据集进行若干次 SGD 迭代更新后，再将净更新量发送给服务器，从而实现通信效率。此外，仅有客户端子集与服务器通信，且该子集在不同的同步时刻可能不同。拜占庭客户端可能相互协作并向服务器发送任意向量以破坏学习过程。为对抗该敌手，我们在服务器采用 Steinhardt 等人~\cite[ITCS 2018]{Resilience_SCV18} 提出的高效高维鲁棒均值估计算法来过滤掉损坏向量；为分析该离群值过滤过程，我们发展了一个新的矩阵集中不等式结果，其本身可能具有独立意义。针对异构数据设置（不同客户端可能拥有不同的局部数据集）下的强凸与非凸光滑目标，我们给出了收敛分析，且不对数据生成做任何概率假设。我们认为这是首个带局部迭代的拜占庭鲁棒算法与分析。我们在 SGD 有界方差与梯度不相似度有界（刻画局部数据集间的异质性）的最小假设下导出收敛结果。我们还将结果推广到客户端计算全批量梯度的情形。