用户级差分隐私随机凸优化：具有最优速率的高效算法
机器学习
2023-11-08 v1 密码学与安全
数据结构与算法
最优化与控制
摘要
我们研究用户级隐私下的差分隐私随机凸优化（DP-SCO），其中每个用户可持有多个数据项。现有的用户级 DP-SCO 工作要么需要超多项式运行时间 [Ghazi et al. (2023)]，要么要求用户数量随问题维度多项式增长并附带额外严格假设 [Bassily et al. (2023)]。我们开发了用户级 DP-SCO 的新算法，在多项式时间内获得凸与强凸函数的最优速率，且要求用户数量仅随维度对数增长。此外，我们的算法是首个在多项式时间内获得非光滑函数最优速率的算法。这些算法基于多遍 DP-SGD，结合一种针对聚集数据的新型私有均值估计过程，该过程在估计梯度均值前执行离群值移除步骤。
引用
@article{arxiv.2311.03797,
title = {User-level Differentially Private Stochastic Convex Optimization: Efficient Algorithms with Optimal Rates},
author = {Hilal Asi and Daogao Liu},
journal= {arXiv preprint arXiv:2311.03797},
year = {2023}
}