中文

非欧几里得差分隐私随机凸优化:线性时间内的最优速率

机器学习 2022-05-06 v2 最优化与控制 机器学习

摘要

差分隐私(DP)随机凸优化(SCO)是一个基本问题,其目标是在给定来自某分布的 nn 个独立同分布样本的数据集、且满足关于该数据集的差分隐私的条件下,近似最小化关于凸损失函数的总体风险。现有私有凸优化文献中的大多数工作聚焦于欧几里得(即 2\ell_2)设置,其中假定损失关于约束集上以有界 2\ell_2 直径为界的 2\ell_2 范数是 Lipschitz(并可能光滑)的。已知基于加噪随机梯度下降(SGD)的算法在该设置下可达到最优 excess risk。本文在标准光滑性假设下,对 p\ell_p 设置中的 DP-SCO 进行了系统研究。对于 1<p21< p\leq 2,在标准光滑性假设下,我们给出了一种具有最优 excess risk 的线性时间 DP-SCO 新算法。此前已知的 1<p<21< p <2 下具有最优 excess risk 的构造在 nn 上运行时间为超线性。对于 p=1p=1,我们给出了一种具有近最优 excess risk 的算法。我们在 1\ell_1 设置下的结果也推广到一般多面体范数与可行集。此外,我们表明由我们的算法在 1p21\leq p \leq 2 下得到的 excess risk 界以高概率达到。对于 2<p2 < p \leq \infty,我们表明欧几里得设置下现有的线性时间构造在低维机制下可达到近最优 excess risk。由此,我们表明此类构造在 p=p=\infty 时达到近最优 excess risk。我们的工作借鉴了赋范空间几何中的概念,如正则性、一致凸性与一致光滑性的概念。

关键词

引用

@article{arxiv.2103.01278,
  title  = {Non-Euclidean Differentially Private Stochastic Convex Optimization: Optimal Rates in Linear Time},
  author = {Raef Bassily and Cristóbal Guzmán and Anupama Nandi},
  journal= {arXiv preprint arXiv:2103.01278},
  year   = {2022}
}

备注

This version contains several extensions to the conference paper that appeared at COLT 2021 (and to the earlier arXiv version: arXiv:2103.01278v1). This version contains new, linear-time constructions with optimal, high-probability risk guarantees