面向对抗性故障的联邦学习中的质心近似

联邦学习允许每个客户端在分布式设置中训练机器学习模型时保留其本地数据。近期大量研究建立了输入必须满足的要求才能保证训练循环收敛的条件。该系列工作使用平均作为模型的聚合规则。特别是，我们关注联邦学习对对抗性故障的鲁棒性，并观察和调查平均/质心与分布式计算中的有效性条件之间的权衡。我们表明，各种有效性条件本身并不保证平均的良好近似。此外，我们表明，获得良好近似并不一定在实验设置中给出好结果，因为可能存在对抗性离群值。我们的主要贡献是对在盒子有效性下实现的质心近似给出第一个下界$\min\{\frac{n-t}{t},\sqrt{d}\}$，其中n是客户端数量，t是对抗性故障的上限，d是机器学习模型的维度。我们通过提供针对情况$n<d$的新分析，补充该下界，给出$2\min\{n,\sqrt{d}\}$的上界。此外，我们提出一种新算法，在凸有效性下实现$\sqrt{2d}$-近似，这也证明了文献中已有的下界是紧密的。我们显示，所有提出的界限也可在分布式点对点设置中实现。我们用经验评估补充了联邦随机梯度下降和联邦平均设置中的分析结果。