差分隐私双层优化：近最优率的高效算法

双层优化问题即一个优化问题嵌套在另一个优化问题中，构成了许多具有层次结构的机器学习应用的基础，如元学习和超参数优化。此类应用常涉及敏感训练数据，引发关于个体隐私的迫切关注。为此，我们研究差分隐私双层优化。我们首先聚焦于外层目标为凸的情形，提供关于纯差分隐私和近似差分隐私下经验风险的新颖上界和下界。这些界限几乎紧密，本质上与标准单层差分隐私 ERM 的最优率相当，仅增加捕捉嵌套双层结构内在复杂度的额外项。我们还提供双层随机优化的 population loss 界限。通过高效实现指数机制和正则化指数机制，实现了这些界限。关键技术贡献是一种新的方法和对不精确函数评估下 log-凸抽样的分析，可能独具兴趣。在非凸情形中，我们发展出具有最新水平的算法，用于私有地找到近似稳态点。值得注意的是，我们的界限不依赖内层问题的维数。