差分隐私在线学习

在本文中，我们考虑了在线学习环境中的隐私保护问题。我们在在线凸规划 (OCP) 框架——一种具有若干有趣的理论与实际意义的流行在线学习设定——中研究了该问题，同时使用差分隐私作为正式的隐私度量。针对此问题，我们提炼了私有 OCP 算法为提供合理的隐私和效用保证所应具备的两个关键属性：1) 线性递减的敏感度，即随着新数据点的到达，它们对学习模型的影响递减；2) 次线性遗憾界——遗憾界是在线学习算法一种流行的优良度/效用度量。给定一个满足这两个条件的 OCP 算法，我们提供了一个通用框架，将给定算法转换为具有良好（次线性）遗憾的隐私保护 OCP 算法。然后，我们通过将两种流行的在线学习算法转换为它们的差分隐私变体并保证次线性遗憾（$O(\sqrt{T})$）来说明我们的方法。接下来，我们考虑在线线性回归问题的特殊情况，这是一类具有实际重要性的在线学习问题，对此我们推广了 Dwork 等人的方法，以提供一种仅有 $O(\log^{1.5} T)$ 遗憾的差分隐私算法。最后，我们表明我们的在线学习框架也可用于为离线学习提供差分隐私算法。对于离线学习问题，我们的方法获得了更好的误差界，并且与现有 SOTA 方法 Chaudhuri 等人相比，可以处理更大类别的问题。