基于生成对抗网络模型蒸馏的私有知识迁移

深度学习应用的部署必须应对使用私有与敏感数据训练时日益增长的隐私担忧。常规深度学习模型易遭受隐私攻击，可从模型参数或目标模型访问中恢复个体敏感信息。近来，提供可证明隐私保证的差分隐私被提出以隐私保护方式训练神经网络来保护训练数据。然而，许多方法倾向于为模型发布提供最坏情况隐私保证，不可避免地损害训练模型的精度。本文提出一种新颖的私有知识迁移策略，其中在敏感数据上训练的私有教师模型不可公开访问，但教导一个可公开发布的学生模型。具体地，提出一个三玩家（教师-学生-判别器）学习框架以实现效用与隐私的权衡，学生从教师处获取蒸馏知识，并与判别器训练以生成与教师相似的输出。我们随后将差分隐私保护机制整合进学习过程，使训练具备严格的隐私预算。该框架最终允许学生仅用无标签公开数据与极少轮次训练，从而防止敏感训练数据暴露，同时以适度隐私预算确保模型效用。在MNIST、SVHN与CIFAR-10数据集上的实验表明，我们的学生相对教师的精度损失分别为0.89%、2.29%、5.16%，隐私界分别为(1.93, 10^-5)、(5.02, 10^-6)、(8.81, 10^-6)。与现有工作相比，所提方法可实现5–82%的精度损失改善。