不可靠客户端的联邦学习：性能分析与机制设计
机器学习
2021-08-03 v2 分布式、并行与集群计算
摘要
由于低通信成本和促进隐私的能力，联邦学习（Federated Learning, FL）已成为在分布式客户端间训练有效机器学习模型的有前景工具。然而，在分布式架构下，不可靠客户端可能向聚合服务器上传低质量模型，导致训练退化甚至崩溃。在本文中，我们对客户端的这些不可靠行为建模，并提出一种防御机制以缓解此类安全风险。具体而言，我们首先基于梯度下降更新推导损失函数的收敛上界，研究不可靠客户端对模型的影响。我们的理论界表明，在总计算资源固定的情况下，就收敛性能而言存在最优的本地训练迭代次数。我们进一步设计了一种名为基于深度神经网络的安全聚合（deep neural network based secure aggregation, DeepSA）的新型防御机制。我们的实验结果验证了理论分析。此外，通过与其他最先进（state-of-the-art）防御机制比较，证实了DeepSA的有效性。
引用
@article{arxiv.2105.06256,
title = {Federated Learning with Unreliable Clients: Performance Analysis and Mechanism Design},
author = {Chuan Ma and Jun Li and Ming Ding and Kang Wei and Wen Chen and H. Vincent Poor},
journal= {arXiv preprint arXiv:2105.06256},
year = {2021}
}