相关噪声在差分隐私学习中可证明优于独立噪声

机器学习 2024-05-09 v2 人工智能密码学与安全最优化与控制

作者: Christopher A. Choquette-Choo , Krishnamurthy Dvijotham , Krishna Pillutla , Arun Ganesh , Thomas Steinke , Abhradeep Thakurta

在 arXiv 上查看 ↗ PDF ↗

摘要

差分隐私学习算法在学习过程中注入噪声。尽管最常见的私有学习算法 DP-SGD 在每次迭代中添加独立高斯噪声，近期关于矩阵分解机制的工作已在经验上表明，在噪声中引入相关性可极大提升其实用性。我们刻画了任意相关性函数选择的渐近学习效用，给出了线性回归的精确解析界，以及一般凸函数下作为凸规划解的界。利用这些界，我们展示了相关噪声如何可证明地优于朴素 DP-SGD，其优势取决于有效维数和条件数等问题参数。此外，我们对近最优相关性函数的解析表达式规避了先前工作中用于优化噪声相关矩阵半定规划的三次复杂度。我们在私有深度学习实验中验证了理论。我们的工作在计算和内存方面均高效，且匹配或优于先前工作。

关键词

差分隐私相关噪声 DP-SGD 矩阵分解线性回归凸优化深度学习

引用

@article{arxiv.2310.06771,
  title  = {Correlated Noise Provably Beats Independent Noise for Differentially Private Learning},
  author = {Christopher A. Choquette-Choo and Krishnamurthy Dvijotham and Krishna Pillutla and Arun Ganesh and Thomas Steinke and Abhradeep Thakurta},
  journal= {arXiv preprint arXiv:2310.06771},
  year   = {2024}
}

备注

Christopher A. Choquette-Choo, Krishnamurthy Dvijotham, and Krishna Pillutla contributed equally

相关噪声在差分隐私学习中可证明优于独立噪声

摘要

关键词

引用

备注

相关论文