平均 KL-隐私及其在最大熵机制下与泛化性的等价性
机器学习
2016-05-10 v1 密码学与安全
摘要
我们定义 On-Average KL-Privacy，并给出其性质及与差分隐私、泛化性以及包括最大信息和互信息的信息论量之间的联系。该新定义显著弱化了差分隐私，同时保留其极简设计特征，如小群体和多次查询下的组合性以及对后处理的接近性。此外，我们证明对于统计学和机器学习中一类常用工具——从 Gibbs 分布（由最大熵原理自然产生的分布类）采样——On-Average KL-Privacy 等价于泛化性。另外，我们分析的一个副产品给出了用互信息表示的泛化误差下界，这揭示了与使用该同一量的已知上界之间有趣的交互。
引用
@article{arxiv.1605.02277,
title = {On-Average KL-Privacy and its equivalence to Generalization for Max-Entropy Mechanisms},
author = {Yu-Xiang Wang and Jing Lei and Stephen E. Fienberg},
journal= {arXiv preprint arXiv:1605.02277},
year = {2016}
}