个性化 PATE：具个体隐私保证的差分隐私机器学习
机器学习
2022-11-09 v4 密码学与安全
摘要
将机器学习（ML）应用于敏感领域需要通过形式化隐私框架（如差分隐私（DP））保护底层训练数据的隐私。然而，训练数据的隐私通常以所得 ML 模型效用为代价。原因之一在于 DP 对所有训练数据点使用统一的隐私预算 epsilon，其须与所有数据持有者中所遇最严格隐私要求对齐。实践中，不同数据持有者具有不同隐私要求，要求较低的数据持有者的数据点可向 ML 模型训练过程贡献更多信息。为应对此需求，我们提出两种基于 Private Aggregation of Teacher Ensembles (PATE) 框架的新方法，以支持具个性化隐私保证的 ML 模型训练。我们形式化描述这些方法，提供其隐私界的理论分析，并使用 MNIST、SVHN 与 Adult income 数据集实验评估其对最终模型效用的作用。我们的经验结果表明，个性化隐私方法产生的 ML 模型准确率高于非个性化基线。从而，在不同数据持有者同意以不同个体隐私层级贡献其敏感数据的场景中，我们改善了隐私-效用权衡。
引用
@article{arxiv.2202.10517,
title = {Individualized PATE: Differentially Private Machine Learning with Individual Privacy Guarantees},
author = {Franziska Boenisch and Christopher Mühl and Roy Rinberg and Jannis Ihrig and Adam Dziedzic},
journal= {arXiv preprint arXiv:2202.10517},
year = {2022}
}
备注
accepted for publication at PoPETs'23