具有自适应K的自适应私有K选择及其在多标签PATE中的应用
机器学习
2022-03-31 v1 密码学与安全
摘要
我们提供了一个基于Renyi DP的端到端差分隐私top-选择框架。与以往需要数据无关地选择的方法不同，我们提出以差分隐私方式释放数据依赖的选择，使得第个与第个“质量”之间的间隙较大。这通过对Report-Noisy-Max的新颖应用实现。自适应的选择不仅消除了一个超参数，还证明了无序集合中top-索引的稳定性，从而我们可以使用提议-测试-释放(PTR)的变体释放它们而无需添加噪声。我们表明，与以往top-选择算法相比，我们的构造在理论上和实证上均改善了隐私-效用权衡。此外，我们将算法应用于具有大量标签的多标签分类任务中的“教师集成私有聚合(PATE)”，并显示出显著的性能提升。
引用
@article{arxiv.2203.16100,
title = {Adaptive Private-K-Selection with Adaptive K and Application to Multi-label PATE},
author = {Yuqing Zhu and Yu-Xiang Wang},
journal= {arXiv preprint arXiv:2203.16100},
year = {2022}
}