具有稀疏诱导范数的差分隐私经验风险最小化
机器学习
2019-05-14 v1 机器学习
摘要
差分隐私关注预测质量，同时衡量数据中所含个体信息的隐私影响。我们考虑带有诱导结构化稀疏正则化器的差分隐私风险最小化问题。这些正则化器已知为凸但常不可微。我们分析了标准的差分隐私算法，如输出扰动、Frank-Wolfe 和目标扰动。输出扰动是一种已知对最小化强凸风险表现良好的差分隐私算法。先前工作已推导出与维度无关的超额风险界。本文中，我们假设一类特定的凸但非光滑、诱导结构化稀疏的正则化器以及广义线性模型的损失函数。我们还考虑差分隐私 Frank-Wolfe 算法来优化风险最小化问题的对偶。我们推导了这两种算法的超额风险界。两个界均依赖于对偶范数单位球的高斯宽度。我们还表明，风险最小化问题的目标扰动等价于对偶优化问题的输出扰动。这是首个在差分隐私背景下分析风险最小化问题对偶优化问题的工作。
引用
@article{arxiv.1905.04873,
title = {Differentially Private Empirical Risk Minimization with Sparsity-Inducing Norms},
author = {K S Sesh Kumar and Marc Peter Deisenroth},
journal= {arXiv preprint arXiv:1905.04873},
year = {2019}
}