面向深度学习的差分隐私模型发布
密码学与安全
2019-12-23 v5 机器学习
摘要
基于神经网络的深度学习技术在广泛的 AI 任务中显示出显著成功。大规模训练数据集是其成功的关键因素之一。然而，当训练数据集来自众包个人且包含敏感信息时，模型参数可能编码隐私信息并面临隐私泄露风险。近期预训练模型共享与发布的增长趋势进一步加剧了此类隐私风险。为应对该问题，我们提出一种用于训练神经网络的差分隐私方法。我们的方法包含若干用于优化隐私损失与模型精度的新技术。我们采用称为集中差分隐私（CDP）的差分隐私推广形式，并对两种不同数据批处理方法给出形式化且精细的隐私损失分析。我们在训练过程中实现动态隐私预算分配器以提升模型精度。大量实验表明，我们的方法在给定隐私预算下有效改善了隐私损失核算、训练效率与模型质量。
引用
@article{arxiv.1904.02200,
title = {Differentially Private Model Publishing for Deep Learning},
author = {Lei Yu and Ling Liu and Calton Pu and Mehmet Emre Gursoy and Stacey Truex},
journal= {arXiv preprint arXiv:1904.02200},
year = {2019}
}