用于非光滑正则化优化的Renyi差分隐私ADMM
机器学习
2019-09-26 v2 机器学习
摘要
本文考虑在 R\'enyi 差分隐私（RDP）下，最小化由凸可微损失函数加非光滑正则化项（如 范数或核范数）组成的复合目标函数的问题。为求解该问题，我们提出两种随机交替方向乘子法（ADMM）算法：基于梯度扰动的 ssADMM 和基于输出扰动的 mpADMM。两种算法都将原问题分解为具有闭式解的子问题。第一种算法 ssADMM 应用了近期针对 RDP 的隐私放大结果以减少需添加的噪声量。第二种算法 mpADMM 数值计算 ADMM 变量更新的敏感度，并在每个 epoch 结束时释放更新后的参数向量。我们在真实与模拟数据集上将所提算法与若干基线算法进行比较。实验结果表明，在高隐私机制（小 ）下，ssADMM 与 mpADMM 分别在分类与特征选择性能上优于其他基线算法。
引用
@article{arxiv.1909.08180,
title = {Renyi Differentially Private ADMM for Non-Smooth Regularized Optimization},
author = {Chen Chen and Jaewoo Lee},
journal= {arXiv preprint arXiv:1909.08180},
year = {2019}
}