重尾数据下差分隐私随机凸优化的研究

在本文中，我们考虑在重尾数据上设计差分隐私（DP）随机凸优化（SCO）算法的问题。此类数据的非规则性违反了几乎所有现有 DP-SCO 与 DP-ERM 方法所使用的一些关键假设，导致无法提供 DP 保证。为了更好地理解这类挑战，我们在本文中对多种设置下的 DP-SCO 进行了全面研究。首先，我们考虑损失函数强凸且光滑的情形。对于该情形，我们提出一种基于样本聚合框架的方法，其超额总体风险为 $\tilde{O}(\frac{d^3}{n\epsilon^4})$（忽略其他因子后），其中 $n$ 为样本量，$d$ 为数据维度。接着，我们表明在对损失函数施加一些额外假设时，可将\textit{期望}超额总体风险降至 $\tilde{O}(\frac{ d^2}{ n\epsilon^2 })$。为解除这些额外条件，我们还提供了一种基于梯度平滑与截断的方案，分别以\textit{高概率}实现强凸与一般凸损失函数的超额总体风险 $\tilde{O}(\frac{ d^2}{n\epsilon^2})$ 与 $\tilde{O}(\frac{d^\frac{2}{3}}{(n\epsilon^2)^\frac{1}{3}})$。实验表明我们的算法能有效应对数据非规则性带来的挑战。