具有差分隐私的无线信道低延迟联邦学习
分布式、并行与集群计算
2021-09-14 v2 机器学习
摘要
在联邦学习（FL）中，模型训练分布于各客户端，本地模型由中心服务器聚合。由于数据分布不平衡、对隐私保护的潜在需求以及传输质量，此类情况下上传模型的性能可能差异很大。在本文中，我们旨在最小化无线信道上的 FL 训练延迟，约束条件为总体训练性能以及每个客户端的差分隐私（DP）要求。我们在多智能体多臂老虎机（MAMAB）框架下解决该问题，以应对多个客户端面临不同未知传输环境（例如信道衰落和干扰）的情形。具体而言，我们首先基于 Lyapunov 漂移技术将训练性能和各客户端 DP 上的长期约束转化为虚拟队列。然后，通过上置信界（UCB）方法估计奖励，我们将 MAMAB 在每个通信轮转换为一个极大极小二分匹配问题。更重要的是，我们针对该匹配问题提出了两种高效解法，即改进的匈牙利算法和具有更优替代的贪心匹配（GMBA），其中前者能以高复杂度获得最优解，而后者通过实现经验证低复杂度且性能损失微小来取得更好的权衡。此外，我们给出了该 MAMAB 基 FL 框架期望遗憾的上界，其随通信轮对数呈线性增长，证明了其理论可行性。我们进行了大量实验以验证所提算法的有效性，并讨论了各种参数对无线边缘网络下 FL 性能的影响。
引用
@article{arxiv.2106.13039,
title = {Low-Latency Federated Learning over Wireless Channels with Differential Privacy},
author = {Kang Wei and Jun Li and Chuan Ma and Ming Ding and Cailian Chen and Shi Jin and Zhu Han and H. Vincent Poor},
journal= {arXiv preprint arXiv:2106.13039},
year = {2021}
}