DP-SGD与PATE：谁对GANs的差异性影响更小？

生成对抗网络（GANs）是生成合成数据（尤其是图像）以用于数据共享的最流行方法之一。鉴于保护原始数据中单个数据点隐私的至关重要性，GANs利用具有强隐私保证的框架（如差分隐私（DP））进行训练。然而，当面临不平衡数据集时，除了单一性能指标外，这些方法在很大程度上仍未被研究。为此，我们从两个视角——生成合成数据中类别的大小及其分类性能——系统比较了在不同数据不平衡设置下，使用深度学习中最著名的两个DP框架（DP-SGD和PATE）训练的GANs。我们的分析表明，应用PATE与DP-SGD类似，对表示不足/过多的类别均产生差异性影响，但幅度要温和得多，使其更为鲁棒。有趣的是，我们的实验一致表明，对于PATE，与DP-SGD不同，隐私-效用权衡并非单调递减，而是更为平滑且呈倒U型，这意味着添加少量隐私实际上有助于泛化。然而，我们也发现了一些设置（例如，严重不平衡），其中PATE-GAN完全无法学习训练数据的某些子部分。