主动 DP：面向 DP-SGD 的多目标优化框架

我们引入了一种称为主动 DP (pro-active DP) 的 DP-SGD 多目标优化框架。与用于追踪隐私预算支出的传统 DP 记账方法不同，主动 DP 方案允许人们基于固定隐私预算（以 $\epsilon$ 和 $\delta$ 表示）先验地选择 DP-SGD 的参数，以最大程度优化预期效用（测试精度）。为实现此目标，我们首先对矩记账方法提出显著改进，给出连接 DP-SGD 设置中所有参数的闭式 $(\epsilon,\delta)$-DP 保证。我们证明，若 $\sigma=\sqrt{2(\epsilon +\ln(1/\delta))/\epsilon}$ 且 $T$ 至少为 $\approx 2k^2/\epsilon$ 以及 $(2/e)^2k^2-1/2\geq \ln(N)$，则 DP-SGD 是 $(\epsilon<0.5,\delta=1/N)$-DP，其中 $T$ 为总轮数，$K=kN$ 为梯度计算总数，$k$ 以本地数据集大小 $N$ 的 epoch 数度量 $K$。我们证明我们的表达式近乎紧：若 $T$ 比下界 $\approx 2k^2/\epsilon$ 小超过常数因子 $\approx 4$，则 $(\epsilon,\delta)$-DP 保证被违反。上述 DP 保证可增强为：若 $\sigma = \sqrt{2(\epsilon+\ln(1/\delta))/\epsilon}$ 且 $T$ 至少为 $\approx 2k^2/\epsilon$，并满足两个额外且不那么直观的条件以允许更大 $\epsilon\geq 0.5$，则 DP-SGD 是 $(\epsilon, \delta)$-DP。我们的 DP 理论允许我们创建效用图和 DP 计算器。这些工具关联隐私与效用目标并搜索最优实验设置，高效兼顾精度与隐私目标以及实现目标。我们提供了主动 DP 的全面实现流程，并通过严谨实验展示概念验证。