分布式学习中子采样洗牌模型的Renyi差分隐私
机器学习
2021-07-20 v1 密码学与安全
信息论
math.IT
摘要
我们研究分布式学习框架中的隐私问题，其中客户端通过与需要对其保密的服务器交互，迭代地协作构建学习模型。受随机优化与联邦学习（FL）范式启发，我们聚焦于每轮随机子采样一小部分数据样本参与学习过程的情况，这也实现了隐私放大。为获得更强的本地隐私保证，我们在洗牌隐私模型中研究此问题：每个客户端使用本地差分隐私（LDP）机制随机化其响应，服务器仅接收客户端响应的随机置换（洗牌），而不知其所属客户端。本文的主要结果是在此子采样洗牌隐私模型中，针对离散随机化机制的隐私-优化性能权衡。这得益于一种分析子采样洗牌模型Renyi差分隐私（RDP）的新理论技术。我们通过数值证明，在重要 regime 下，经组合后我们的界相比最先进的近似差分隐私（DP）保证（带强组合）在子采样洗牌模型上显著改善了隐私保证。我们还用真实数据集数值展示了隐私-学习性能工作点的显著改善。
引用
@article{arxiv.2107.08763,
title = {Renyi Differential Privacy of the Subsampled Shuffle Model in Distributed Learning},
author = {Antonious M. Girgis and Deepesh Data and Suhas Diggavi},
journal= {arXiv preprint arXiv:2107.08763},
year = {2021}
}
备注
arXiv admin note: text overlap with arXiv:2105.05180