DP-SGD实现有多隐私？
机器学习
2024-06-07 v2 密码学与安全
数据结构与算法
摘要
我们展示了自适应批量线性查询（ABLQ）机制在不同批量采样类型下的隐私保证之间存在显著差距：(i) 洗牌和 (ii) 泊松子采样；差分隐私随机梯度下降（DP-SGD）的典型分析通过将其解释为ABLQ的后处理来进行。虽然基于洗牌的DP-SGD在实际实现中更常用，但它不容易进行隐私分析，无论是解析上还是数值上。另一方面，基于泊松子采样的DP-SGD难以可扩展地实现，但其隐私分析已得到充分理解，并且有多个开源数值紧致隐私核算器可用。这导致了一种常见做法：在实践中使用基于洗牌的DP-SGD，但使用相应泊松子采样版本的隐私分析。我们的结果表明，使用两种批量采样类型时隐私分析可能存在显著差距，因此建议在报告DP-SGD的隐私参数时要谨慎。
引用
@article{arxiv.2403.17673,
title = {How Private are DP-SGD Implementations?},
author = {Lynn Chua and Badih Ghazi and Pritish Kamath and Ravi Kumar and Pasin Manurangsi and Amer Sinha and Chiyuan Zhang},
journal= {arXiv preprint arXiv:2403.17673},
year = {2024}
}
备注
Proceedings of ICML 2024