如何在差分隐私中使用启发式方法

我们发展了利用启发式方法解决差分隐私中计算困难问题的理论。启发式方法在机器学习中取得了巨大成功，其性能可通过经验评估。然而，隐私保证无法经验评估，必须在不做启发式假设的前提下被证明。我们表明，在广泛的函数类上的学习问题可以在私有且高效的方式下被解决，前提是存在一个用于解决同一问题的非私有预言机。我们的第一个算法给出的隐私保证依赖于该预言机的正确性。随后我们给出了一个适用于一类我们称之为可认证启发式的归约，它允许我们将依赖于预言机的隐私保证转换为最坏情形隐私保证，即使替代预言机的启发式方法可能以对抗方式失效时也成立。最后，我们考虑一个包含 PAC 学习文献中大多数简单布尔函数类（包括合取、析取、奇偶和离散半空间）的广泛函数类。我们表明，给定非私有学习预言机，存在一种高效算法可为任意此类函数私有地构造合成数据。这尤其给出了首个用于私有生成列联表合成数据的预言机高效算法。我们的工作留下的最引人深思的问题是：是否每一个可差分私有解决的问题都能通过预言机高效算法私有地解决。尽管我们未解决此问题，但我们给出了一个障碍性结果，表明任何通用的预言机高效归约必须落在一类自然算法（包括本文给出的算法）之外。