具有双重用途正则化器及隐私预算回收与再利用的噪声增强隐私保护经验风险最小化
机器学习
2021-10-19 v1 密码学与安全
机器学习
摘要
我们提出噪声增强隐私保护经验风险最小化(NAPP-ERM),以差分隐私保证求解 ERM。现有的隐私保护 ERM 方法可能由于在目标正则化之上引入 l2 项以实现强凸性而遭受过度正则化。NAPP-ERM 改进现有方法,并通过迭代地利用适当设计的增广数据实现目标正则化、以及通过单一自适应加权双重用途 l2 正则化器提供强凸性,从而缓解过度正则化。当目标正则化用于变量选择时,我们提出一种新的正则化器,可同时实现隐私与稀疏性保证。最后,我们提出一种在强凸性要求满足时回收隐私预算的策略,该预算可返还用户,从而使 ERM 的 DP 以低于原计划的隐私代价得到保证,或可被再利用于 ERM 优化过程以减少注入的 DP 噪声并提升 DP-ERM 的效用。从实现角度看,NAPP-ERM 可通过在给定噪声增广数据下优化非扰动目标函数来实现,从而可利用现有的非私有 ERM 优化工具。我们通过大量实验说明了 NAPP-ERM 在变量选择与预测上对过度正则化及隐私预算回收的缓解效果。
引用
@article{arxiv.2110.08676,
title = {Noise-Augmented Privacy-Preserving Empirical Risk Minimization with Dual-purpose Regularizer and Privacy Budget Retrieval and Recycling},
author = {Yinan Li and Fang Liu},
journal= {arXiv preprint arXiv:2110.08676},
year = {2021}
}