具有间隔保证的差分私有学习
机器学习
2022-04-25 v1 机器学习
摘要
我们提出一系列具有维数无关间隔保证的新型差分私有（DP）算法。对于线性假设族，我们给出了一个享有相对偏差间隔保证的纯 DP 学习算法，以及一个带间隔保证的高效 DP 学习算法。我们还提出了一个针对具有平移不变核（如高斯核）的基于核的假设的高效带间隔保证 DP 学习算法，并指出如何利用遗忘草图技术将结果扩展到其他核。进一步，我们给出了一个针对一类前馈神经网络的纯 DP 学习算法，并证明了其与输入维数无关的间隔保证。此外，我们描述了一种通用的标签 DP 学习算法，其享有相对偏差间隔界，并适用于广泛的假设集族，包括神经网络假设集。最后，我们展示了如何以通用方式增强我们的 DP 学习算法以包含模型选择，从而选择最佳置信间隔参数。
引用
@article{arxiv.2204.10376,
title = {Differentially Private Learning with Margin Guarantees},
author = {Raef Bassily and Mehryar Mohri and Ananda Theertha Suresh},
journal= {arXiv preprint arXiv:2204.10376},
year = {2022}
}