差分隐私双层优化

我们提出了针对双层优化的差分隐私（DP）算法，这是一种最近在各种机器学习应用中受到广泛关注的问题类。这些是首个在标准DP约束下针对此类问题的算法，也是首些避免Hessian计算（在大规模设置下昂贵）的方法。在广受欢迎的设置下（即上层问题不一定是凸的且下层问题是强凸的），我们提出的基于梯度的 $(\epsilon,\delta)$-DP算法返回的点，其超梯度范数最多为 $\widetilde{\mathcal{O}}\left((\sqrt{d_\mathrm{up}}/\epsilon n)^{1/2}+(\sqrt{d_\mathrm{low}}/\epsilon n)^{1/3}\right)$ 其中 $n$ 为数据集大小，$d_\mathrm{up}/d_\mathrm{low}$ 为上/下层维度。我们的分析涵盖了受约束和不受约束的问题，考虑了小批量梯度，并适用于经验损失和总体损失。作为一个应用，我们专门化我们的分析来推导出一个简单用于调整正则化超参数的私有规则。