联邦学习中的多消息洗牌隐私
机器学习
2023-02-23 v1 密码学与安全
摘要
我们研究通信约束下的差分隐私分布式优化。使用 SGD 进行优化的服务器借助分布式均值估计（DME）聚合客户端本地梯度以更新模型。我们利用近期发展的多消息洗牌（multi-message shuffled, MMS）隐私框架，开发了通信高效的隐私 DME。我们分析所提 DME 方案，表明其实现了序最优的隐私-通信-性能权衡，解决了 [1] 中的一个开放问题：洗牌模型能否改善 Secure Aggregation 所得权衡。这也解决了 MMS 模型中隐私向量和最优权衡的开放问题。我们通过一种新颖的隐私机制实现该目标，该机制在本地梯度向量的不同分辨率上非均匀地分配隐私预算。这些结果可直接应用于对此类迭代式隐私梯度聚合的隐私分布式学习算法提供保证。我们还对隐私 DME 算法进行了数值评估。
引用
@article{arxiv.2302.11152,
title = {Multi-Message Shuffled Privacy in Federated Learning},
author = {Antonious M. Girgis and Suhas Diggavi},
journal= {arXiv preprint arXiv:2302.11152},
year = {2023}
}