无需私有协方差估计的协方差感知私有均值估计
机器学习
2024-03-27 v3
摘要
我们针对具有未知协方差的 维(次)高斯分布,提出了两个样本高效的差分私有均值估计器。非正式地说,给定来自此类分布、均值为 、协方差为 的 个样本,我们的估计器输出 ,使得 ,其中 为马哈拉诺比斯距离。所有具有同样保证的先前估计器要么需要对协方差矩阵有较强的先验界,要么需要 个样本。我们的每个估计器都基于一种简单、通用的差分私有机制设计方法,但采用了新颖的技术步骤以使估计器兼具隐私性与样本高效性。我们的第一个估计器使用指数机制采样一个具有近似最大图基深度(Tukey depth)的点,但限制于具有大图基深度的点集之中。其精度保证即便在含有少量对抗性损坏的数据集上也成立。证明该机制具有隐私性需要一种新颖的分析。我们的第二个估计器用根据经验协方差校准的噪声扰动数据集的经验均值,而不释放协方差本身。其样本复杂度保证对次高斯分布更一般地成立,尽管对隐私参数的依赖稍差。对于两个估计器,都需要对数据进行仔细的预处理以满足差分隐私。
引用
@article{arxiv.2106.13329,
title = {Covariance-Aware Private Mean Estimation Without Private Covariance Estimation},
author = {Gavin Brown and Marco Gaboardi and Adam Smith and Jonathan Ullman and Lydia Zakynthinou},
journal= {arXiv preprint arXiv:2106.13329},
year = {2024}
}
备注
49 pages. Appeared in NeurIPS 2021. Updated version contains improved analysis of Tukey depth mechanism: robustness guarantees, tighter error analysis, and techniques for faster implementation