插值机制下的私有优化：更快的收敛速率与困难性结果

在非私有随机凸优化中，随机梯度方法在插值问题（即存在同时最小化所有样本损失的解的问题）上的收敛远快于非插值问题；我们表明在私有设定下通常不可能出现类似的改进。然而，当函数在最优解附近呈现二次增长时，我们展示了私有样本复杂度的（近）指数级改进。特别地，我们提出一种自适应算法，将 achieving 期望误差$\alpha$所需的样本复杂度从$\frac{d}{\varepsilon \sqrt{\alpha}}$改进为$\frac{1}{\alpha^\rho} + \frac{d}{\varepsilon} \log\left(\frac{1}{\alpha}\right)$（对任意固定的$\rho >0$），同时对非插值问题保持标准极小极大最优样本复杂度。我们证明了下界，表明维度相关项是紧的。此外，我们给出一个超效率结果，证明了多项式项对于自适应算法的必要性：任何在插值问题上具有多对数样本复杂度的算法，都无法对该类非插值问题达到极小极大最优速率。