面向高效无线联邦学习与非对称隐私的梯度稀疏化
分布式、并行与集群计算
2023-12-25 v3 人工智能
密码学与安全
摘要
联邦学习（FL）使分布式客户端能够协作训练机器学习模型而无需彼此共享原始数据。然而，其存在上传模型导致隐私信息泄露的问题。此外，随着模型规模增大，由于传输带宽有限，训练时延增加，且在使用差分隐私（DP）保护时模型性能下降。本文提出一种基于无线信道的梯度稀疏化联邦学习框架，以在不牺牲收敛性能的前提下提升训练效率。具体而言，我们首先设计随机稀疏化算法，在每個客户端的本地训练中保留部分梯度元素，从而缓解DP引起的性能下降并减少无线信道上的传输参数数量。随后，我们通过建模非凸FL问题分析所提算法的收敛界。接着，在发射功率、平均传输时延以及客户端DP需求约束下，我们针对最小化所推导收敛界建立时序随机优化问题。利用Lyapunov漂移加惩罚框架，我们给出了该优化问题的解析解。我们在三个真实数据集上进行了大量实验以证明所提算法的有效性。结果表明，我们所提算法能充分利用通信与计算的交互，优于随机调度、轮询和时延最小化等基准算法。
引用
@article{arxiv.2304.04164,
title = {Gradient Sparsification for Efficient Wireless Federated Learning with Differential Privacy},
author = {Kang Wei and Jun Li and Chuan Ma and Ming Ding and Feng Shu and Haitao Zhao and Wen Chen and Hongbo Zhu},
journal= {arXiv preprint arXiv:2304.04164},
year = {2023}
}