重访私有（随机）非凸优化：二阶平稳点与超额风险
机器学习
2023-02-21 v1 密码学与安全
最优化与控制
机器学习
摘要
我们考虑在保护训练数据中样本隐私的同时最小化非凸目标的问题。基于先前的方差缩减算法 SpiderBoost，我们引入了一个利用两类不同梯度预言机的新框架。第一类预言机可估计一个点的梯度，第二类预言机精度较低且更具成本效益，可估计两点间的梯度差。SpiderBoost 周期性地使用第一类，每隔几步一次，而我们的框架提出在总漂移变大时使用第一类预言机，否则依赖第二类。该新框架确保梯度估计始终准确，从而改进了寻找二阶平稳点的速率。此外，我们处理了更具挑战性的任务：使用指数机制寻找非凸目标的全局极小值。我们的发现表明，正则化指数机制可紧密匹配先前的经验与总体风险界，且对于具有多项式运行时间的算法不需要平滑性假设。进一步，忽略运行时间考量，我们展示指数机制可实现良好的总体风险界，并给出近乎匹配的下界。
引用
@article{arxiv.2302.09699,
title = {Private (Stochastic) Non-Convex Optimization Revisited: Second-Order Stationary Points and Excess Risks},
author = {Arun Ganesh and Daogao Liu and Sewoong Oh and Abhradeep Thakurta},
journal= {arXiv preprint arXiv:2302.09699},
year = {2023}
}