通过差分隐私构造数据依赖的PAC-Bayes先验
机器学习
2019-04-22 v2 机器学习
摘要
可能近似正确（PAC）Bayes框架（McAllester, 1999）可通过使用依赖于分布的先验，将关于学习算法和（数据）分布的知识纳入其中，从而在对数据依赖后验的泛化界上更紧。然而，利用这种灵活性是困难的，尤其在数据分布被假定未知时。我们展示了ε-差分隐私的数据依赖先验如何产生有效的PAC-Bayes界，然后展示了选择先验的非隐私机制如何也能产生泛化界。作为该结果的应用，我们展示了通过随机梯度朗之万动力学（SGLD; Welling and Teh, 2011）选择的Gaussian先验均值，在控制到ε-差分隐私平稳分布的2-Wasserstein距离的条件下，可导出有效的PAC-Bayes界。我们从经验上研究了我们的数据依赖界，并表明即使其他依赖于分布的界是空泛的，它们也可以是非空泛的。
引用
@article{arxiv.1802.09583,
title = {Data-dependent PAC-Bayes priors via differential privacy},
author = {Gintare Karolina Dziugaite and Daniel M. Roy},
journal= {arXiv preprint arXiv:1802.09583},
year = {2019}
}
备注
18 pages, 2 figures; equivalent to camera ready, but includes supplementary materials; subsumes and extends some results first reported in arXiv:1712.09376