朗之万扩散与噪声梯度下降的微分隐私动力学
机器学习
2022-09-12 v5 密码学与安全
机器学习
摘要
当一个迭代随机学习算法的内部状态为\emph{私有}时,其关于训练数据的信息泄露是多少?通过所发布模型,每个特定训练轮次对信息泄露的贡献有多大?我们针对噪声梯度下降算法研究此问题,并建模了整个训练过程中R\'enyi微分隐私损失的\emph{动力学}。我们的分析追踪了在相邻数据集上训练的模型参数概率分布对之间的R\'enyi散度的可证明\emph{紧}界。我们证明,对于光滑且强凸损失函数,隐私损失以指数速度快速收敛,这相对于组合定理(其通过上界所有中间梯度计算的总值而高估隐私损失)有显著改进。对于Lipschitz、光滑且强凸损失函数,我们证明了噪声梯度下降算法以小的梯度复杂度取得最优效用。
引用
@article{arxiv.2102.05855,
title = {Differential Privacy Dynamics of Langevin Diffusion and Noisy Gradient Descent},
author = {Rishav Chourasia and Jiayuan Ye and Reza Shokri},
journal= {arXiv preprint arXiv:2102.05855},
year = {2022}
}