主题建模中的成员推断攻击与隐私
密码学与安全
2024-09-24 v2 计算与语言
机器学习
摘要
最近的研究表明，大型语言模型容易受到推断训练数据某些方面的隐私攻击。然而，尚不清楚更简单的生成模型（如主题模型）是否具有类似的漏洞。在本工作中，我们提出了一种针对主题模型的攻击，该攻击能够自信地识别潜在狄利克雷分配（Latent Dirichlet Allocation, LDA）中的训练数据成员。我们的结果表明，与生成建模相关的隐私风险并不局限于大型神经模型。此外，为了减轻这些漏洞，我们探索了差分隐私（DP）主题建模。我们提出了一个私有主题建模框架，该框架将 DP 词汇选择作为预处理步骤纳入其中，并表明它在提高隐私性的同时对实际效用影响有限。
引用
@article{arxiv.2403.04451,
title = {Membership Inference Attacks and Privacy in Topic Modeling},
author = {Nico Manzonelli and Wanrong Zhang and Salil Vadhan},
journal= {arXiv preprint arXiv:2403.04451},
year = {2024}
}
备注
13 pages + appendices and references. 9 figures