相对高斯机制及其在隐私保护梯度下降中的应用
机器学习
2024-03-20 v2 密码学与安全
最优化与控制
摘要
高斯机制(GM)通过在释放前向量值查询中添加高斯噪声,是一种标准的隐私保护机制。特别地,给定查询满足某种 L2 敏感度性质(任意两个相邻输入上输出的 L2 距离有界),GM 可保证 Réniyi 差分隐私(RDP)。不幸的是,精确界定 L2 敏感度可能很困难,从而导致宽松的隐私界。在本工作中,我们考虑相对 L2 敏感度假设,其中对两个查询输出间距离的界也可能依赖于它们的范数。利用该假设,我们引入了相对高斯机制(RGM),其中噪声的方差依赖于输出的范数。我们证明了在相对 L2 敏感度下 RDP 参数的紧界,并刻画了使用输出依赖噪声所带来的隐私损失。特别地,我们表明 RGM 自然适应于一个控制输出范数的潜变量。最后,我们将该框架实例化,给出对隐私保护梯度下降的紧保证,该问题天然契合我们的相对 L2 敏感度假设。
引用
@article{arxiv.2308.15250,
title = {The Relative Gaussian Mechanism and its Application to Private Gradient Descent},
author = {Hadrien Hendrikx and Paul Mangold and Aurélien Bellet},
journal= {arXiv preprint arXiv:2308.15250},
year = {2024}
}