$d_X$-隐私与文本的维度灾难

一种广泛使用的确保非结构化文本数据隐私的方法是用于$d_X$-隐私的多维拉普拉斯机制，这是差分隐私在度量空间中的一种松弛。我们发现了该机制的一个有趣特性。当逐词应用时，该机制要么输出原始词，要么输出完全不相似的词，很少输出语义相似的词。我们详细研究了这一观察结果，并将其与任何词嵌入模型（高维）中单词的最近邻距离远大于其任意两个连续邻居之间距离的相对差异这一事实联系起来。我们还表明，多维拉普拉斯噪声向量与任何词嵌入的点积在指定最近邻方面起着关键作用。我们推导了该点积的分布、矩和尾部界限。我们进一步提出了一种作为后处理步骤的修复方法，该方法令人满意地消除了上述问题。