重新审视私有 GAN
机器学习
2023-10-06 v2 密码学与安全
计算机视觉与模式识别
摘要
我们证明了训练差分私有 GAN 的规范方法——使用差分私有随机梯度下降（DPSGD）更新判别器——在对训练进行修改后可以产生显著改善的结果。具体而言，我们提出该方法的现有实例化忽略了仅在判别器更新中添加噪声如何抑制判别器训练，从而破坏了成功训练 GAN 所需的生成器与判别器之间的平衡。我们表明，一个简单的修复——在生成器步骤之间采取更多的判别器步骤——恢复了生成器和判别器之间的对等性并改善了结果。此外，以恢复对等性为目标，我们尝试了其他修改——即大批量大小和自适应判别器更新频率——以改善判别器训练，并观察到生成质量的进一步提升。我们的结果表明，在标准图像合成基准上，DPSGD 优于所有替代的 GAN 私有化方案。代码：https://github.com/alexbie98/dpgan-revisit。
引用
@article{arxiv.2302.02936,
title = {Private GANs, Revisited},
author = {Alex Bie and Gautam Kamath and Guojun Zhang},
journal= {arXiv preprint arXiv:2302.02936},
year = {2023}
}
备注
28 pages; revisions and new experiments from TMLR camera-ready + code release at https://github.com/alexbie98/dpgan-revisit