如何在隐私保护下使梯度变小：差分隐私非凸优化的改进速率

我们提供了一个简单且灵活的框架，用于设计差分隐私算法以寻找非凸损失函数的近似驻点。我们的框架基于使用一个隐私保护的近似风险最小化器来“热启动”另一个用于寻找驻点的隐私保护算法。我们利用该框架为几类非凸损失函数获得了改进的、有时是最优的速率。首先，对于寻找光滑非凸经验损失函数的驻点，我们获得了改进的速率。其次，我们专门针对 quasar-convex 函数进行了研究，该函数推广了 star-convex 函数，并出现在学习动力系统和训练某些神经网络中。我们实现了该类函数的最优速率。第三，我们给出了一个寻找满足 Kurdyka-Lojasiewicz (KL) 条件的函数驻点的最优算法。例如，过参数化神经网络通常满足该条件。第四，我们为非凸总体损失函数的驻点提供了新的 SOTA 速率。第五，我们为非凸广义线性模型获得了改进的速率。对我们算法的修改在针对具有 Lipschitz Hessian 的函数寻找二阶驻点时实现了相近的速率，改进了上述每个问题的先前 SOTA。