通过混洗放大 Rényi 差分隐私
机器学习
2020-02-18 v3 密码学与安全
机器学习
摘要
差分隐私是一种有用的工具，用于构建不会泄露过多训练数据信息的机器学习模型。我们研究了当每个训练样本都不放回采样（也称为循环 SGD）时随机梯度下降的 Rényi 差分隐私。循环 SGD 通常比传统 SGD 更快，并且是大规模实现中所选择的算法。我们恢复了循环 SGD 的隐私保证，其与已知的有放回采样下的保证具有竞争力。我们的证明技术不对模型或数据作任何假设，因此具有广泛的适用性。
引用
@article{arxiv.1907.05156,
title = {Amplifying R\'enyi Differential Privacy via Shuffling},
author = {Eloïse Berthier and Sai Praneeth Karimireddy},
journal= {arXiv preprint arXiv:1907.05156},
year = {2020}
}
备注
This version has incorrect proofs! We are currently working on fixing these