联邦学习泛化误差分析的启示：您或许无需频繁通信！

我们研究联邦学习（FL）设定下统计学习模型的泛化误差。具体而言，我们研究泛化误差随 $K$ 个客户端与参数服务器（PS）之间通信轮数 $R$ 的演化，即客户端本地模型在 PS 处聚合的频率对泛化误差的影响。在我们的设定中，客户端与 PS 通信越多，每轮用于本地训练的数据就越少，从而使得各客户端训练数据总量对于不同的 $R$ 值保持一致。我们建立了显式考虑轮数 $R$ 以及参与设备数 $K$ 和个体数据集大小 $n$ 影响的泛化误差的 PAC-Bayes 与率失真理论界。这些界适用于一大类损失函数与学习算法，似乎是 FL 设定下的首创。此外，我们将所提界应用于 FL 型支持向量机（FSVM），并推导出（更）显式的界。特别地，我们表明 FSVM 的泛化界随 $R$ 增大，意味着与 PS 更频繁的通信削弱了泛化能力。这意味着总体风险随 $R$ 的下降慢于经验风险。而且，我们的界表明 FSVM 的泛化误差比集中式学习快一个因子 $\mathcal{O}(\sqrt{\log(K)/K})$ 下降。最后，我们给出使用神经网络（ResNet-56）获得的实验结果，其证据表明不仅我们对 FSVM 的观察可能更普遍地成立，而且总体风险甚至可能在某些 $R$ 值之后开始上升。