细粒度私有知识蒸馏
密码学与安全
2023-04-07 v2
摘要
知识蒸馏已成为一种可扩展且有效的隐私保护机器学习方法。其一个遗留缺陷是以模型级（即客户端级）方式消耗隐私，每一次蒸馏查询都会导致一个客户端所有记录的隐私损失。为了实现细粒度隐私核算并提升效用，本文提出一种面向记录级私有知识蒸馏的无模型反向 -NN 标注方法，其中每条记录至多用于 次查询的标注。理论上，我们给出了在差分隐私的集中式/本地/洗牌模型下（关于每次查询的记录数、隐私预算）的标注错误率界限。在实验上，我们证明该方法以低一个数量级的隐私损失实现了新的最优准确率。具体而言，在 CIFAR- 数据集上，它在集中式隐私预算 下达到 测试准确率；在 MNIST/SVHN 数据集上，它分别在预算 下达到 / 准确率。这是深度学习结合差分隐私首次在合理数据隐私保护（即 ）下取得可比拟的准确率。我们的代码可在 https://github.com/liyuntong9/rknn 获取。
引用
@article{arxiv.2207.13253,
title = {Fine-grained Private Knowledge Distillation},
author = {Yuntong Li and Shaowei Wang and Yingying Wang and Jin Li and Yuqiu Qian and Bangzhou Xin and Wei Yang},
journal= {arXiv preprint arXiv:2207.13253},
year = {2023}
}