私有随机非凸优化中的二阶收敛性
机器学习
2026-01-21 v2 人工智能
摘要
我们研究了在差分隐私（DP）随机非凸优化中寻找二阶 stationary 点（SOSP）的问题。现有方法存在两个关键局限性：(i) 由于忽略鞍点逃逸分析中的梯度方差，导致收敛误差率不准确；(ii) 依赖用于识别 DP-SOSP 的辅助私有模型选择过程，这在分布式设置下会显著损害实用性。为解决这些问题，我们提出一种基于高斯噪声注入和通用梯度或acles 的通用扰动随机梯度下降（PSGD）框架。我们框架的核心创新在于使用模型漂移距离来确定 PSGD 是否逃逸鞍点，确保在不依赖二阶信息或额外 DP-SOSP 识别的情况下收敛到近似局部最小值。通过将自适应 DP-SPIDER 估计器作为特定的梯度或acles，我们开发了一种新的 DP 算法，纠正了先前工作中报告的收敛误差率。我们进一步将该算法扩展到带异构数据的分布式学习，提供了在此类设置下寻找 DP-SOSP 的首个形式保证。我们的分析还强调了在高维模型下，私有选择过程在分布式学习中的不利影响，凸显了我们设计的实际优势。在真实数据集上的数值实验验证了我们方法的有效性。
引用
@article{arxiv.2505.15647,
title = {Second-Order Convergence in Private Stochastic Non-Convex Optimization},
author = {Youming Tao and Zuyuan Zhang and Dongxiao Yu and Xiuzhen Cheng and Falko Dressler and Di Wang},
journal= {arXiv preprint arXiv:2505.15647},
year = {2026}
}