基于知识蒸馏的局部差分隐私分布式深度学习
机器学习
2022-02-08 v1 人工智能
密码学与安全
摘要
深度学习通常需要大量数据。在现实应用中，例如医疗应用，单个组织（如医院）收集的数据往往有限，而海量且多样的数据通常分散在多个组织之间。因此，这促使研究人员进行分布式深度学习，其中数据使用者希望利用分散在多个不同数据拥有者之间的数据构建 DL 模型。然而，由于数据的敏感性，这可能导致严重的隐私问题，因此数据拥有者会犹豫并 reluctant 参与。我们提出 LDP-DL，一种通过局部差分隐私和知识蒸馏实现的隐私保护分布式深度学习框架，其中每个数据拥有者使用其自身的（本地）私有数据集学习一个教师模型，数据使用者学习一个学生模型以模仿教师模型集成的输出。在实验评估中，使用三个流行的深度学习基准数据集（即 CIFAR10、MNIST 和 FashionMNIST），对我们提出的方法（即 LDP-DL）、DP-SGD、PATE 和 DP-FL 进行了全面比较。实验结果表明，LDP-DL 在隐私预算和模型精度方面始终优于其他竞争对手。
引用
@article{arxiv.2202.02971,
title = {Locally Differentially Private Distributed Deep Learning via Knowledge Distillation},
author = {Di Zhuang and Mingchen Li and J. Morris Chang},
journal= {arXiv preprint arXiv:2202.02971},
year = {2022}
}
备注
10 pages, 6 figures, 1 table. Submitted to IEEE Transactions on Knowledge and Data Engineering