一种面向静态词嵌入的邻域感知差分隐私机制
机器学习
2023-09-20 v1 人工智能
计算与语言
密码学与安全
摘要
我们提出一种邻域感知差分隐私（NADP）机制，考虑预训练静态词嵌入空间中词的邻域，以确定保证指定隐私级别所需的最小噪声量。我们首先利用词的嵌入在其上构建最近邻图，并将其分解为一组连通分量（即邻域）。然后，我们对每个邻域中的词分别施加由该邻域中词集决定的不同级别高斯噪声。实验表明，我们提出的 NADP 机制在多个下游任务中持续优于先前提出的多种 DP 机制（如 Laplacian、Gaussian 和 Mahalanobis），同时保证更高水平的隐私。
引用
@article{arxiv.2309.10551,
title = {A Neighbourhood-Aware Differential Privacy Mechanism for Static Word Embeddings},
author = {Danushka Bollegala and Shuichi Otake and Tomoya Machide and Ken-ichi Kawarabayashi},
journal= {arXiv preprint arXiv:2309.10551},
year = {2023}
}
备注
Accepted to IJCNLP-AACL 2023