差分隐私泛化保证的新分析
机器学习
2024-06-05 v2 密码学与安全
机器学习
摘要
我们给出了支撑自适应数据分析的“转移定理”的新证明：任何用于回答自适应选择的统计查询、且具有差分隐私和样本准确性的机制，在样本外也是准确的。我们的新证明是初等的，并给出了结构性的见解，我们期望这些见解在其他地方也有用。我们表明：1) 差分隐私确保由交互记录所诱导的数据集后验分布上任意查询的期望值接近其在数据分布上的真实值；2) 仅样本准确性就以高概率确保机制产生的任意查询答案接近其后验期望。这第二个断言源于一个思想实验，其中我们设想在机制已确定其答案后从后验分布重新采样数据集。转移定理随后通过对这两个界求和得到，特别地，避免了先前工作中用于推导高概率界的“监视器论证”。我们新证明技巧的一个结果是，我们得到的具体界比先前已知的最佳界大幅改善，尽管改善在于常数而非渐近（渐近已知是紧的）。正如我们所展示的，与先前最先进水平相比，我们的新界在远小的数据集规模下就优于朴素的“样本分割”基线，使该文献中的技术更接近于实用。
引用
@article{arxiv.1909.03577,
title = {A New Analysis of Differential Privacy's Generalization Guarantees},
author = {Christopher Jung and Katrina Ligett and Seth Neel and Aaron Roth and Saeed Sharifi-Malvajerdi and Moshe Shenfeld},
journal= {arXiv preprint arXiv:1909.03577},
year = {2024}
}