具有局部正则化与稀疏化的差分隐私联邦学习
机器学习
2022-03-22 v3 密码学与安全
计算机视觉与模式识别
摘要
用户级差分隐私（DP）为联邦学习中任何用户数据所特有的信息提供可证明的隐私保证。现有确保用户级 DP 的方法以严重的准确率下降为代价。在本文中，我们研究在用户级 DP 保证下联邦学习中模型性能退化的原因。我们发现解决此问题的关键在于在执行保证 DP 的操作之前自然地限制局部更新的范数。为此，我们提出两种技术，有界局部更新正则化与局部更新稀疏化，以在不牺牲隐私的前提下提升模型质量。我们对我们框架的收敛性提供理论分析，并给出严格的隐私保证。大量实验表明，我们的框架在具有用户级 DP 保证的联邦学习中，显著改善了相对于最先进方法的隐私-效用权衡。
引用
@article{arxiv.2203.03106,
title = {Differentially Private Federated Learning with Local Regularization and Sparsification},
author = {Anda Cheng and Peisong Wang and Xi Sheryl Zhang and Jian Cheng},
journal= {arXiv preprint arXiv:2203.03106},
year = {2022}
}
备注
CVPR 2022