差分隐私数据生成模型
密码学与安全
2018-12-07 v1 机器学习
摘要
深度神经网络 (deep neural networks, DNNs) 近来被广泛应用于各类应用，其成功很大程度上归功于算法突破、计算资源改善以及海量数据的获取。然而，深度学习所需的大规模数据收集常包含敏感信息，从而引发诸多隐私担忧。已有研究表明，多种成功攻击可推断敏感训练数据信息，如模型反演、成员推断以及针对协作深度学习的基于生成对抗网络 (GAN) 的泄露攻击。本文中，为兼顾学习效率并生成具备隐私保障与高可用性的数据，我们提出了基于差分隐私自编码器的生成模型 (DP-AuGM) 和基于差分隐私变分自编码器的生成模型 (DP-VaeGM)。我们评估了两种模型的鲁棒性。我们展示了 DP-AuGM 能有效防御模型反演、成员推断和基于 GAN 的攻击；DP-VaeGM 对成员推断攻击具有鲁棒性。我们推测，防御模型反演与基于 GAN 攻击的关键并非差分隐私，而是训练数据的扰动。最后，我们证明 DP-AuGM 与 DP-VaeGM 均可轻松集成到现实机器学习应用中，如机器学习即服务 (machine learning as a service) 和联邦学习，否则它们将分别受到成员推断攻击和基于 GAN 攻击的威胁。
引用
@article{arxiv.1812.02274,
title = {Differentially Private Data Generative Models},
author = {Qingrong Chen and Chong Xiang and Minhui Xue and Bo Li and Nikita Borisov and Dali Kaarfar and Haojin Zhu},
journal= {arXiv preprint arXiv:1812.02274},
year = {2018}
}