通过随机对抗性蒸馏学习差分私有扩散模型

虽然深度学习成功依赖于大量训练数据集，但在隐私敏感领域数据往往有限。为解决这一挑战，针对数据去标识化生成的私有生成模型学习已涌现出解决方案。然而，现有方法生成图像的质量受限于复杂的数据分布建模。我们借助扩散模型的成功，引入DP-SAD，通过随机对抗性蒸馏方法训练私有扩散模型。具体而言，我们首先训练一个扩散模型作为教师，然后通过蒸馏训练学生，在此过程中通过向学生来自其他模型的梯度添加噪声来实现差分隐私。为更好的生成质量，我们引入判别器来区分图像来自教师还是学生，从而形成对抗性训练。大量实验和分析清晰地表明了我们提出方法的有效性。