DPlis：通过随机平滑提升差分隐私深度学习的效用
机器学习
2021-06-22 v2 密码学与安全
机器学习
摘要
深度学习技术在广泛任务中取得了卓越性能。然而，当在隐私敏感数据集上训练时，模型参数可能暴露训练数据中的私人信息。先前的差分隐私训练尝试虽提供严格的隐私保证，却导致模型性能远低于非隐私模型。此外，同一训练算法的不同运行会产生性能方差较大的模型。为解决这些问题，我们提出 DPlis——带平滑的差分隐私学习（Differentially Private Learning wIth Smoothing）。DPlis 的核心思想是构造一个平滑损失函数，偏好位于损失景观大平坦区域中抗噪的模型。我们为 DPlis 的效用提升提供了理论依据。大量实验也表明，在给定隐私预算下，DPlis 能有效提升模型质量与训练稳定性。
引用
@article{arxiv.2103.01496,
title = {DPlis: Boosting Utility of Differentially Private Deep Learning via Randomized Smoothing},
author = {Wenxiao Wang and Tianhao Wang and Lun Wang and Nanqing Luo and Pan Zhou and Dawn Song and Ruoxi Jia},
journal= {arXiv preprint arXiv:2103.01496},
year = {2021}
}
备注
The 21st Privacy Enhancing Technologies Symposium (PETS), 2021