固定大小小批量的差分隐私随机梯度下降：有放回或无放回下的更紧致 RDP 保证
机器学习
2024-08-21 v1 密码学与安全
摘要
差分隐私随机梯度下降 (DP-SGD) 通过提供一个控制和跟踪训练过程中隐私损失的框架，在私有训练深度学习模型中发挥了重要作用。该计算的核心是一个子采样方法，它使用隐私放大引理来增强加性噪声提供的隐私保证。与泊松子采样中可变大小的小批量不同，固定大小子采样因其恒定的内存使用而具有吸引力。它对于解决类别不平衡和联邦学习也很有意义。然而，当前固定大小子采样的可计算保证并不紧致，并且没有同时考虑添加/移除和替换一个相邻关系。我们为采用无放回固定大小子采样 (FSwoR) 和有放回固定大小子采样 (FSwR) 的 DP-SGD 提出了一种新的、全面的 Rényi 差分隐私 (RDP) 会计方法。对于 FSwoR，我们同时考虑了添加/移除和替换一个相邻关系。我们的 FSwoR 结果比当前最佳可计算界限提高了 4 倍。我们还首次证明，广泛使用的泊松子采样和采用替换一个相邻关系的 FSwoR 在采样概率的首阶项上具有相同的隐私性。因此，我们的工作表明，由于恒定的内存使用，FSwoR 通常比泊松子采样更可取。我们的 FSwR 会计方法包括显式的非渐近上下界，并且据作者所知，这是对 DP-SGD 有放回固定大小 RDP 的首次此类分析。我们通过分析和实证比较了固定大小和泊松子采样，并表明在固定大小子采样机制下，DP-SGD 梯度在实践中除了内存使用优势外，还表现出更低的方差。
引用
@article{arxiv.2408.10456,
title = {Differentially Private Stochastic Gradient Descent with Fixed-Size Minibatches: Tighter RDP Guarantees with or without Replacement},
author = {Jeremiah Birrell and Reza Ebrahimi and Rouzbeh Behnia and Jason Pacheco},
journal= {arXiv preprint arXiv:2408.10456},
year = {2024}
}
备注
39 pages, 10 figures