G-PATE：基于教师判别器私有聚合的可扩展差分隐私数据生成器
机器学习
2022-01-03 v2 机器学习
摘要
机器学习的最新进展在很大程度上受益于海量可获取的训练数据。然而，大规模数据共享引发了严重的隐私担忧。本文中，我们提出一种基于 PATE 框架的新型隐私保护数据生成模型（G-PATE），旨在训练一个可扩展的差分隐私数据生成器，同时保持高生成数据效用。我们的方法利用生成对抗网络生成数据，并结合不同判别器之间的私有聚合以确保强隐私保证。与现有方法相比，G-PATE 显著改善了隐私预算的使用。具体而言，我们用教师判别器集成训练学生数据生成器，并提出一种新颖的私有梯度聚合机制，以确保从教师判别器流向学生生成器的所有信息均满足差分隐私。此外，借助随机投影与梯度离散化，所提出的梯度聚合机制能够有效处理高维梯度向量。理论上，我们证明 G-PATE 确保数据生成器的差分隐私。在实验上，我们通过大量实验展示了 G-PATE 相对于先前工作的优越性。我们表明 G-PATE 是首个能在有限隐私预算（）下生成高维图像数据且保持高数据效用的工作。我们的代码见 https://github.com/AI-secure/G-PATE。
引用
@article{arxiv.1906.09338,
title = {G-PATE: Scalable Differentially Private Data Generator via Private Aggregation of Teacher Discriminators},
author = {Yunhui Long and Boxin Wang and Zhuolin Yang and Bhavya Kailkhura and Aston Zhang and Carl A. Gunter and Bo Li},
journal= {arXiv preprint arXiv:1906.09338},
year = {2022}
}