中文

关于私有学习中训练数据重构的查询复杂度

机器学习 2024-01-15 v6 密码学与安全 机器学习

摘要

我们分析了白盒敌手为重构私有学习器的训练数据所需发出的查询次数。对于训练数据抽取自任意紧度量空间的 (ϵ,δ)(\epsilon, \delta) DP 学习器,我们给出了作为学习器隐私参数函数的敌手查询复杂度的首个已知下界。我们的结果对每个 ϵ0,δ[0,1]\epsilon \geq 0, \delta \in [0, 1] 都是极小极大最优的,作为推论涵盖了 ϵ\epsilon-DP 与 (0,δ)(0, \delta) DP。除此之外,我们获得了 (α,ϵ)(\alpha, \epsilon) R\'enyi DP 学习器的查询复杂度下界,其对任意 α>1,ϵ0\alpha > 1, \epsilon \geq 0 均成立。最后,我们通过 Metric DP(一种考虑数据底层度量结构的 DP 推广)框架分析了局部紧度量空间上的数据重构攻击。在此设定下,我们给出了无界高维空间中数据重构的首次已知分析,并获得了除对数因子外近乎紧的查询复杂度下界。

关键词

引用

@article{arxiv.2303.16372,
  title  = {On the Query Complexity of Training Data Reconstruction in Private Learning},
  author = {Prateeti Mukherjee and Satya Lokam},
  journal= {arXiv preprint arXiv:2303.16372},
  year   = {2024}
}

备注

Updated proof of Thm 10, fixed typos