基于差分隐私无数据蒸馏的模型转换

尽管在大规模数据上训练的大量宝贵深度模型已被发布以惠及人工智能社区，它们在部署中可能遭遇攻击，从而导致训练数据的隐私泄露。本工作中，我们提出一种称为差分隐私无数据蒸馏（DPDFD）的学习方法用于模型转换，该方法可在无需访问训练数据的情况下，通过一个中间生成器将预训练模型（教师）转换为其隐私保护对应模型（学生）。该学习以统一方式协同三方。首先，利用生成器生成大量合成数据。然后，将它们输入教师与学生，通过在执行下降前对梯度归一化并加噪来计算差分隐私梯度。最后，学生用这些差分隐私梯度更新，而生成器以交替方式通过把学生作为固定判别器来更新。除隐私保护的学生外，该生成器还能以差分隐私方式为其他下游任务生成合成数据。我们从理论上证明我们的方法可保证差分隐私并良好收敛。大量实验清楚表明我们的方法显著优于其他差分隐私生成方法。