Dubhe:在联邦学习客户端选择中利用同态加密实现数据无偏性
密码学与安全
2021-09-10 v1 分布式、并行与集群计算
机器学习
摘要
联邦学习(FL)是一种分布式机器学习范式,允许客户端基于各自的本地数据协同训练模型。FL 保障客户端的隐私,且其安全性可通过加法同态加密(HE)等密码学方法得到增强。然而,FL 的效率可能会因客户端间的数据分布差异和全局分布偏斜所带来的统计异构性而严重受损。我们从数学上论证了 FL 中性能下降的原因,并考察了 FL 在多种数据集上的表现。为解决统计异构性问题,我们提出了一种名为 Dubhe 的可插拔系统级客户端选择方法,该方法允许客户端主动参与训练,同时借助 HE 保护其隐私。实验结果表明,Dubhe 在分类准确率上与最优贪心方法相当,且加密与通信开销可忽略不计。
引用
@article{arxiv.2109.04253,
title = {Dubhe: Towards Data Unbiasedness with Homomorphic Encryption in Federated Learning Client Selection},
author = {Shulai Zhang and Zirui Li and Quan Chen and Wenli Zheng and Jingwen Leng and Minyi Guo},
journal= {arXiv preprint arXiv:2109.04253},
year = {2021}
}
备注
10 pages