基于投票的差分隐私联邦学习方法
机器学习
2021-02-17 v2 密码学与安全
摘要
差分隐私联邦学习（DPFL）是一个具有众多应用的新兴领域。基于梯度平均的 DPFL 方法需要高昂的通信轮数，并且由于所加噪声对维度有明确依赖，难以用于大容量模型。在本文中，受 Papernot 等人（2017；2018）的知识迁移非联邦隐私学习启发，我们设计了两种新的 DPFL 方案，通过对每个本地模型返回的数据标签进行投票而非平均梯度，从而避免了维度依赖并显著降低了通信成本。理论上，通过应用安全多方计算，当投票分数间隔较大时，我们可以指数级地放大（数据相关的）隐私保证。大量实验表明，我们的方法在 DPFL 中显著改善了相比现有最优方法的隐私-效用权衡。
引用
@article{arxiv.2010.04851,
title = {Voting-based Approaches For Differentially Private Federated Learning},
author = {Yuqing Zhu and Xiang Yu and Yi-Hsuan Tsai and Francesco Pittaluga and Masoud Faraki and Manmohan chandraker and Yu-Xiang Wang},
journal= {arXiv preprint arXiv:2010.04851},
year = {2021}
}