CRS-FL：面向通信高效与隐私保护联邦学习的条件随机采样
密码学与安全
2023-06-08 v2 分布式、并行与集群计算
机器学习
摘要
联邦学习（FL）作为一种面向隐私的分布式机器学习范式，因其保护参与者数据隐私的能力而在物联网中受到极大关注。已有研究致力于解决标准 FL 中存在的通信效率与隐私保护等挑战，但它们无法在保障隐私的同时实现通信效率与模型精度之间的权衡。本文提出一种条件随机采样（CRS）方法，并将其植入标准 FL 设定（CRS-FL）以应对上述挑战。CRS 基于泊松采样探索随机系数，以更高概率无偏地获得零梯度，从而在模型精度不退化的情况下有效降低通信开销。此外，我们从理论上挖掘了 CRS 的松弛局部差分隐私（LDP）保障条件。大量实验结果表明：（1）在通信效率方面，CRS-FL 在每传输字节精度指标上优于现有方法，且在大于 7% 采样率（采样规模/模型规模）下模型精度无下降；（2）在隐私保护方面，CRS-FL 与 LDP 基线相比无精度下降且保持效率，在更多采样率条件下模型精度甚至超越它们。
引用
@article{arxiv.2306.00674,
title = {CRS-FL: Conditional Random Sampling for Communication-Efficient and Privacy-Preserving Federated Learning},
author = {Jianhua Wang and Xiaolin Chang and Jelena Mišić and Vojislav B. Mišić and Lin Li and Yingying Yao},
journal= {arXiv preprint arXiv:2306.00674},
year = {2023}
}