非交互式本地差分隐私模型下的经验风险最小化

在本文中，我们研究非交互式本地差分隐私（LDP）模型下的经验风险最小化（ERM）问题。先前关于该问题的研究 \citep{smith2017interaction} 指出，对于一般损失函数，要达到误差 $\alpha$，其样本复杂度需随维度 $p$ 呈指数依赖。在本文中，我们通过考察损失函数上允许我们消除此限制的条件，作出两次尝试来解决该问题。在第一次尝试中，我们表明若损失函数是 $(\infty, T)$-光滑的，利用 Bernstein 多项式逼近可避免关于 $\alpha$ 的项中的指数依赖。随后我们提出具有 $1$-bit 通信复杂度和每位参与者 $O(1)$ 计算成本的参与者高效算法。这些算法的误差界与原始误差界渐近相同。在附加假设下，我们还给出了一个对服务器更高效的算法。在第二次尝试中，我们表明对于任意 $1$-Lipschitz 广义线性凸损失函数，存在一种 $(\epsilon, \delta)$-LDP 算法，其达到误差 $\alpha$ 的样本复杂度仅随维度 $p$ 线性增长。我们的结果使用了内积逼近的多项式技术。最后，受多项式逼近思想的启发并基于不同类型的多项式逼近，我们提出了用于学习 k-way 边缘查询集合与光滑查询集合的（高效）非交互式本地差分隐私算法。