面向异构数据的超分位数聚合联邦学习

我们提出了一种联邦学习框架，旨在对具有异构数据的各个客户端鲁棒地提供良好的预测性能。所提方法依赖于基于超分位数（superquantile）的学习目标，该目标捕获了异构客户端上误差分布的尾部统计。我们提出了一种随机训练算法，将差分隐私的客户端过滤与联邦平均步骤交错进行。我们证明了该算法的有限时间收敛保证：在非凸情形下经 $T$ 轮通信为 $O(1/\sqrt{T})$，在局部条件数 $\kappa$ 的强凸情形下为 $O(\exp(-T/\kappa^{3/2}) + \kappa/T)$。在联邦学习基准数据集上的实验结果表明，我们的方法在平均误差方面与经典方法相当，并在误差的尾部统计方面优于它们。