一种应对联邦平均中未知参与统计的轻量级方法

在联邦学习（FL）中，客户端通常具有先验未知的多样化参与统计，若处理不当会显著损害 FL 的性能。现有旨在解决该问题的工作通常基于全局方差缩减，这需要以等于客户端总数的倍数形式占用大量额外内存。一个重要未决问题是：在存在参与率未知的客户端时，为 FL 找到一种轻量级方法。本文通过基于每个客户端的参与历史调整联邦平均（FedAvg）中的聚合权重来解决该问题。我们首先表明，在异构参与统计下，采用非最优聚合权重的 FedAvg 会偏离原始 FL 目标的最优解，表明需要寻找最优聚合权重。然而，当参与统计未知时，难以计算最优权重。为解决该问题，我们提出一种称为 FedAU 的新算法，它在不知晓客户端参与统计的情况下，基于在线估计的最优权重自适应地加权客户端更新，从而改进 FedAvg。我们采用一种将估计误差与收敛性相联系的新方法，对 FedAU 进行了理论收敛分析。我们的理论结果揭示了重要且有趣的见解，同时表明 FedAU 收敛到原始目标的最优解，并具有线性加速等理想性质。我们的实验结果也验证了 FedAU 相对于具有多种参与模式的基线方法的优势。