预训练感知特征改进差分隐私图像生成
机器学习
2023-07-21 v4 密码学与安全
机器学习
摘要
使用差分隐私随机梯度下降（DP-SGD）训练即使是中等规模的生成模型也很困难：对于合理隐私级别所需的噪声水平实在过大。我们主张转而在一个信息丰富的公共数据集上构建良好且相关的表示，然后利用该表示学习对私有数据建模。具体而言，我们使用基于从公共数据集学到的感知特征的内核，最小化私有目标数据与生成器分布之间的最大均值差异（MMD）。借助MMD，我们可以一次性地对数据依赖项进行隐私化，而不必像DP-SGD那样在优化的每一步引入噪声。我们的算法能够在下生成CIFAR10级别的图像，捕捉分布中的显著特征，远超当前最先进水平，后者大多聚焦于MNIST和FashionMNIST等数据集且较大。我们的工作引入了简单而强大的基础，以缩小私有与非私有深度生成模型之间的差距。我们的代码可在\url{https://github.com/ParkLabML/DP-MEPF}获取。
引用
@article{arxiv.2205.12900,
title = {Pre-trained Perceptual Features Improve Differentially Private Image Generation},
author = {Fredrik Harder and Milad Jalali Asadabadi and Danica J. Sutherland and Mijung Park},
journal= {arXiv preprint arXiv:2205.12900},
year = {2023}
}