通过分箱实现流式隐私持续计数

在差分隐私中，持续观测指我们希望连续释放一个随数据集逐个元素揭示而变化的函数的问题。挑战在于在保持所有时间步输出联合差分隐私的同时维持良好的近似。在持续计数的特殊情况下，我们寻求近似二进制输入元素的和。该问题近期受到相当关注，部分原因是其与差分隐私随机梯度下降实现的相关性。分解机制是持续计数的主导方法，但此类最佳机制在流式设置中表现不佳，因为它们需要与输入规模成正比的空间。在本文中，我们提出了一种通过分箱在低空间中近似分解机制的简单方法，其中相邻矩阵条目具有相似值时变为相同，使得矩阵-向量乘积可以在次线性空间中维护。我们的方法对一类下三角矩阵提供了可证明的次线性空间保证，其条目从对角线向外单调递减。我们经验性地表明，即使使用非常低的空间占用，我们也能紧密匹配，有时甚至超越渐近最优分解机制的性能。近期且独立于我们的工作，Dvijotham等人也提出了在流式设置中实现分解机制的方法。他们的工作在几个方面与我们不同：它仅涉及分解为托普利茨矩阵，仅考虑最大误差，并使用基于有理函数逼近的不同技术，该技术似乎不如我们的分箱方法通用。