基于切片Wasserstein距离的差分隐私梯度流
机器学习
2025-01-22 v3 密码学与安全
机器学习
摘要
保护敏感训练数据的隐私至关重要，尤其是在生成建模的背景下。这可以通过差分隐私随机梯度下降或用于训练模型或生成器的差分隐私度量来实现。在本文中，我们引入了一种基于概率测度空间中梯度流的新型差分隐私生成建模方法。为此，我们定义了高斯平滑切片Wasserstein距离的梯度流，包括相关的随机微分方程(SDE)。通过离散化并定义求解此SDE的数值方案，我们证明了由于SDE漂移项的一种特定形式，平滑与基于高斯机制的差分隐私之间存在联系。然后，我们分析了我们梯度流的差分隐私保证，该保证同时考虑了平滑和SDE本身引入的维纳过程。实验表明，与基于生成器的模型相比，我们提出的模型能在低隐私预算下生成更高保真度的数据，提供了一种有前景的替代方案。
引用
@article{arxiv.2312.08227,
title = {Differentially Private Gradient Flow based on the Sliced Wasserstein Distance},
author = {Ilana Sebag and Muni Sreenivas Pydi and Jean-Yves Franceschi and Alain Rakotomamonjy and Mike Gartrell and Jamal Atif and Alexandre Allauzen},
journal= {arXiv preprint arXiv:2312.08227},
year = {2025}
}