GAN 下的深度模型：来自协作深度学习的信息泄露
密码学与安全
2017-09-15 v3 机器学习
机器学习
摘要
深度学习最近在机器学习中大受欢迎，在存在高度结构化和大型数据库的情况下显著提高了分类准确性。研究人员也考虑了深度学习的隐私影响。模型通常以集中式方式进行训练，所有数据由相同的训练算法处理。如果数据是用户私人数据的集合，包括习惯、个人照片、地理位置、兴趣等，集中式服务器将有权访问可能被滥用的敏感信息。为了解决这个问题，最近提出了协作深度学习模型，参与方在本地训练其深度学习结构，并仅共享部分参数，试图保持各自的训练集私有。如 Shokri 和 Shmatikov 在 CCS'15 上所提出的，还可以通过差分隐私（DP）对参数进行混淆，使信息提取更具挑战性。遗憾的是，我们表明任何隐私保护的协作深度学习都容易受到我们在本文中设计的一种强大攻击。具体而言，我们表明分布式、联邦式或去中心化的深度学习方法从根本上被攻破，无法保护诚实参与者的训练集。我们开发的攻击利用了学习过程的实时特性，使得对抗者能够训练一个生成对抗网络（GAN），生成原本应保持私有的目标训练集的典型样本（GAN 生成的样本旨在来自与训练数据相同的分布）。有趣的是，我们表明，如先前工作所建议的那样，将记录级 DP 应用于模型的共享参数是无效的（即，记录级 DP 并非旨在应对我们的攻击）。
引用
@article{arxiv.1702.07464,
title = {Deep Models Under the GAN: Information Leakage from Collaborative Deep Learning},
author = {Briland Hitaj and Giuseppe Ateniese and Fernando Perez-Cruz},
journal= {arXiv preprint arXiv:1702.07464},
year = {2017}
}
备注
ACM CCS'17, 16 pages, 18 figures