基于教师集成的隐私保护深度学习
密码学与安全
2019-09-19 v2 机器学习
摘要
隐私保护深度学习对于部署基于深度神经网络的解决方案至关重要，尤其当模型处理包含敏感信息的数据时。多数隐私保护方法会导致令人不满的性能下降。集成学习是提升模型性能的有效途径。本工作中，我们提出一种在差分隐私随机梯度下降下利用更具信息量的网络输出的教师集成新方法，并提供可证明的隐私保证。我们的方法采用知识蒸馏与对中间表示的中介学习（hint learning）以促进学生模型训练。此外，我们提出一种简单的加权集成方案，在不同教学设置下表现更为稳健。在三个常用图像数据集基准（即CIFAR10、MNIST与SVHN）上的实验结果表明，我们的方法在性能与隐私预算上均优于先前最先进（SOTA）方法。
引用
@article{arxiv.1906.02303,
title = {Private Deep Learning with Teacher Ensembles},
author = {Lichao Sun and Yingbo Zhou and Ji Wang and Jia Li and Richard Sochar and Philip S. Yu and Caiming Xiong},
journal= {arXiv preprint arXiv:1906.02303},
year = {2019}
}
备注
fixed updated version will be updated later