差分隐私联邦学习中安全聚合的基本代价
机器学习
2022-03-09 v1 机器学习
摘要
我们考虑在分布式差分隐私（DP）下训练 维模型的问题，其中使用安全聚合（SecAgg）以确保服务器在每轮训练中仅看到 个模型更新的带噪和。考虑到 SecAgg 所施加的约束，我们刻画了在 中心 DP（即完全可信服务器且无通信约束）下获得可达最佳精度所需的基本通信代价。我们的结果表明每客户端 比特既充分又必要，且该基本极限可由基于稀疏随机投影的线性方案实现。这相对于使用每客户端 比特的最先进 SecAgg 分布式 DP 方案有显著改进。在经验上，我们在真实世界联邦学习任务上评估了我们提出的方案。我们发现理论分析在实践中吻合良好。特别地，我们展示在现实隐私设置下，可在不降低测试时性能的前提下将通信代价显著降至每参数低于 比特。因此，我们的工作从理论与经验上指明了使用 SecAgg 的基本代价。
引用
@article{arxiv.2203.03761,
title = {The Fundamental Price of Secure Aggregation in Differentially Private Federated Learning},
author = {Wei-Ning Chen and Christopher A. Choquette-Choo and Peter Kairouz and Ananda Theertha Suresh},
journal= {arXiv preprint arXiv:2203.03761},
year = {2022}
}