私有梯度估计在生成式建模中的有效应用

尽管生成模型在许多领域已证明成功，但在实际部署中可能存在隐私泄露风险。为解决此问题，差分私有生成模型学习已成为一种为不同下游任务训练私有生成模型的方案。然而，现有的私有生成建模方法由于建模此类数据固有的复杂性，在生成高维数据方面面临重大挑战。在本工作中，我们提出一种新的私有生成建模方法，其中样本通过哈密顿动力学生成，而私有数据集的梯度由一个训练良好的网络通过切片得分匹配估计，并在梯度估计中扰动投影向量以实现差分隐私。此外，我们在得分匹配过程中引入残差增强模块以提升模型的重建能力。对于采样，我们利用训练良好网络估计的梯度执行哈密顿动力学，使采样数据逐步接近私有数据集的流形。由此，我们的模型能够生成分辨率为 256x256 的数据。大量实验与分析清楚地证明了所提方法的有效性与合理性。