差分隐私机器学习的近紧黑盒审计

Meenatchi Sundaram Muthu Selva Annamalai; Emiliano De Cristofaro

差分隐私机器学习的近紧黑盒审计

密码学与安全 2024-11-05 v4 机器学习

作者: Meenatchi Sundaram Muthu Selva Annamalai , Emiliano De Cristofaro

摘要

本文提出了一种针对差分隐私随机梯度下降（DP-SGD）算法的黑盒审计程序，显著紧于先前工作。主要直觉是构建最坏情况的初始模型参数，因为DP-SGD的隐私分析对初始模型参数的选择不敏感。对于在理论 $\varepsilon=10.0$ 下训练的模型，我们的审计程序在1000条记录的样本上实证估计 $\varepsilon_{emp} = 7.21$ 和 $6.95$ ，在完整数据集上分别为 $\varepsilon_{emp}= 6.48$ 和 $4.96$ 。相比之下，先前的审计仅在较强的白盒模型中（即对手可以访问模型的内部参数并插入任意梯度）相对紧密。总体而言，我们的审计程序可为DP-SGD的隐私分析改进提供有价值的见解，并检测实际实现中的错误和DP违规。所需的代码可在https://github.com/spalabucr/bb-audit-dpsgd获取。

关键词

差分隐私机器学习黑盒审计随机梯度下降隐私分析

引用

@article{arxiv.2405.14106,
  title  = {Nearly Tight Black-Box Auditing of Differentially Private Machine Learning},
  author = {Meenatchi Sundaram Muthu Selva Annamalai and Emiliano De Cristofaro},
  journal= {arXiv preprint arXiv:2405.14106},
  year   = {2024}
}

备注

To appear in the Proceedings of the Thirty-eighth Annual Conference on Neural Information Processing Systems (NeurIPS 2024). Please cite accordingly

差分隐私机器学习的近紧黑盒审计

摘要

关键词

引用

备注

相关论文