通过贪婪坐标下降实现高维差分隐私经验风险最小化
机器学习
2023-04-11 v3 密码学与安全
机器学习
摘要
本文研究差分隐私经验风险最小化（DP-ERM）。已有研究表明，DP-ERM的最坏情况效用随维度增加呈多项式级下降。这是隐私学习大型机器学习模型的主要障碍。在高维情形下，模型的部分参数通常比其他参数携带更多信息。为利用此特性，我们提出差分隐私贪婪坐标下降（DP-GCD）算法。在每次迭代中，DP-GCD基于（近似）最大梯度项 privately 执行坐标wise梯度步。我们从理论上证明，通过自然利用其结构特性（如准稀疏解），DP-GCD可在广泛问题上实现关于维度的对数依赖。我们在合成与真实数据集上以数值实验说明了该行为。
引用
@article{arxiv.2207.01560,
title = {High-Dimensional Private Empirical Risk Minimization by Greedy Coordinate Descent},
author = {Paul Mangold and Aurélien Bellet and Joseph Salmon and Marc Tommasi},
journal= {arXiv preprint arXiv:2207.01560},
year = {2023}
}