通过最优客户端采样实现通信高效的联邦学习

联邦学习（FL）缓解了在中心服务器协调从分布于众多客户端的数据中进行学习时的隐私担忧。客户端在本地训练并将所学模型传达给服务器；本地模型的聚合需要客户端与中心服务器之间频繁通信大量信息。我们提出了一种在通信受限设置下更新中心模型的新颖、简单且高效的方式，其基于收集具有信息性更新的客户端模型并估计未通信的本地更新。特别地，将模型权重的演进建模为 Ornstein-Uhlenbeck 过程，使我们能推导出用于选取具有显著权重更新客户端子集的最优采样策略。中心服务器仅从所选客户端收集更新的本地模型，并将其与未选中进行通信的客户端的估计模型更新相结合。我们在一个用于逻辑回归的合成数据集以及两个 FL 基准上测试该策略，即在 EMNIST 上的分类任务和使用 Shakespeare 数据集的真实语言建模任务。结果表明，所提框架在保持竞争力或取得优于基线的性能的同时，显著减少了通信。我们的方法代表了一种与现有用户本地方法（如量化或稀疏化）正交的通信高效 FL 新策略线，因而是对那些现有方法的补充而非意在取代。