并非所有噪声都被同等计入：差分隐私学习如何从大采样率中获益
机器学习
2021-10-14 v1 密码学与安全
摘要
学习过程常涉及敏感数据，因此基于差分隐私（DP）的定义，人们已开发出随机梯度下降（SGD）及其他机器学习算法的隐私保护扩展。在差分隐私 SGD 中，每次训练迭代计算的梯度会受到两类不同噪声的影响。首先是使用小批量（minibatch）所带来的固有采样噪声。其次是底层隐私机制引入的加性高斯噪声。本研究表明，这两类噪声对私有神经网络效用的影晌是等价的，但在隐私预算中却被不等量计入。基于该观察，我们提出了一种训练范式，将噪声比例从较少的固有噪声转向更多的加性噪声，从而使整体噪声中更大一部分可被计入隐私预算。借助该范式，我们能够在私有端到端 CNN 的隐私/效用权衡上超越当前最优（SOTA）水平。
引用
@article{arxiv.2110.06255,
title = {Not all noise is accounted equally: How differentially private learning benefits from large sampling rates},
author = {Friedrich Dörmann and Osvald Frisk and Lars Nørvang Andersen and Christian Fischer Pedersen},
journal= {arXiv preprint arXiv:2110.06255},
year = {2021}
}
备注
2021 IEEE International Workshop on Machine Learning for Signal Processing (MLSP)