基于知识蒸馏的隐私模型压缩

对智能移动应用的激增需求要求在移动设备上部署强大的深度神经网络（DNNs）。然而，DNNs的卓越性能 notoriously 依赖于日益复杂的模型，这反过来导致计算开销的增加远超移动设备的承载能力。更糟的是，应用服务提供商需要收集并利用大量包含敏感信息的用户数据来构建精细的DNN模型。直接将这些模型部署在公共移动设备上会带来不可接受的隐私风险。为在无算力与隐私顾虑下受益于设备端深度学习，我们设计了一个隐私模型压缩框架RONA。遵循知识蒸馏范式，我们联合使用提示学习、蒸馏学习与自学习来训练一个紧凑而快速的神经网络。从笨重模型中蒸馏出的知识被自适应地界定并精心扰动以实施差分隐私。我们进一步提出一种优雅的查询样本选择方法以减少查询次数并控制隐私损失。一系列实证评估以及在Android移动设备上的实现表明，RONA不仅能高效压缩笨重模型，还可提供强隐私保证。例如，在SVHN上，当保证有意义的$(9.83,10^{-6})$-差分隐私时，RONA训练的紧凑模型可获得20$\times$压缩比与19$\times$加速，且仅损失0.97%精度。