具有收敛性与隐私保证的随机编码联邦学习
机器学习
2022-09-09 v5 分布式、并行与集群计算
摘要
联邦学习(FL)作为一种保护隐私的分布式机器学习框架备受关注，其中许多客户端通过与参数服务器交换模型更新而非共享原始数据来协作训练机器学习模型。然而，由于客户端异构计算资源与波动通信速率导致的掉队者(stragglers)，FL训练存在收敛缓慢与性能不稳的问题。本文提出一种编码FL框架以缓解掉队者问题，即随机编码联邦学习(SCFL)。在该框架中，每个客户端通过对本地数据的随机线性组合添加加性噪声生成保护隐私的编码数据集。服务器收集所有客户端的编码数据集以构建复合数据集，从而有助于补偿掉队效应。在训练过程中，服务器与客户端执行小批量随机梯度下降(SGD)，且服务器在模型聚合中添加补偿项以获得无偏梯度估计。我们通过互信息差分隐私(MI-DP)刻画隐私保证，并分析联邦学习中的收敛性能。此外，我们通过分析隐私约束对收敛速率的影响，展示了所提SCFL方法的隐私-性能权衡。最后，数值实验证实了我们的分析，并表明SCFL在实现快速收敛的同时保护数据隐私的优势。
引用
@article{arxiv.2201.10092,
title = {Stochastic Coded Federated Learning with Convergence and Privacy Guarantees},
author = {Yuchang Sun and Jiawei Shao and Songze Li and Yuyi Mao and Jun Zhang},
journal= {arXiv preprint arXiv:2201.10092},
year = {2022}
}