兼顾量化隐私的更高准确率:通过重构对抗网络学习的表示
机器学习
2019-01-28 v1 密码学与安全
机器学习
摘要
机器学习,尤其是深度学习的显著成功,为移动用户产生了各种基于云的服务。此类服务要求终端用户将数据发送给服务提供商,这对终端用户隐私构成了严峻挑战。为了解决这一问题,先前的工作要么向数据中添加噪声,要么发送从原始数据中提取的特征。它们在效用与隐私之间难以平衡,因为添加的噪声会降低效用,而原始数据可以从提取的特征中被重构出来。本工作在方法论上脱离了先前的工作:我们利用对抗学习寻找更优的权衡,从而在隐私度量与效用度量之间取得平衡。我们设计了一个编码器,它通过解码器对抗性地优化重构误差(隐私度量),并通过分类器优化推断准确率(效用度量)。其结果是 RAN,一种具有新训练算法的新型深度模型,能够自动提取既具隐私性又有用的分类特征。结果表明,对抗性地强制提取的特征仅传达分类所需的预期信息,会带来一种隐式正则化,使得分类准确率优于完全忽略隐私的原始模型。因此,我们在获得更好隐私的同时获得了更好的效用,这在机器学习中是一种令人惊喜的可能性!我们在五个流行数据集上对四种训练方案进行了广泛实验,并证明了 RAN 相较于现有替代方案的优越性。
引用
@article{arxiv.1901.08730,
title = {Better accuracy with quantified privacy: representations learned via reconstructive adversarial network},
author = {Sicong Liu and Anshumali Shrivastava and Junzhao Du and Lin Zhong},
journal= {arXiv preprint arXiv:1901.08730},
year = {2019}
}