从鲁棒性到隐私性，再回到鲁棒性
机器学习
2023-02-06 v1 机器学习
摘要
我们研究了统计推断与机器学习中算法两个理想性质之间的关系：差分隐私与对抗性数据损坏鲁棒性。Dwork 和 Lei (STOC 2009) 首次观察到它们概念上的相似性，他们注意到私有算法满足鲁棒性，并给出了一种将鲁棒算法转换为私有算法的通用方法。然而，所有将鲁棒算法转换为私有算法的通用方法都会导致次优的误差率。我们的工作给出了首个黑盒转换，可将任何对抗性鲁棒算法转换为满足纯差分隐私的算法。此外，我们证明，对于任何低维估计任务，将我们的转换应用于最优鲁棒估计器会得到最优私有估计器。因此，我们得出结论：对于任何低维任务，ε-差分隐私估计器的最优误差率与对 1/ε 个训练样本进行对抗性损坏具有鲁棒性的估计器的最优误差率本质上是相同的。我们应用此转换获得了多个高维任务的新最优私有估计器，包括高斯（稀疏）线性回归和 PCA。最后，我们提出了该转换的一个扩展，可导出近似差分隐私算法，其误差不依赖于输出空间的范围，这在纯差分隐私下是不可能的。
引用
@article{arxiv.2302.01855,
title = {From Robustness to Privacy and Back},
author = {Hilal Asi and Jonathan Ullman and Lydia Zakynthinou},
journal= {arXiv preprint arXiv:2302.01855},
year = {2023}
}