随机鹦鹉群：面向大语言模型的差分隐私提示学习
机器学习
2023-05-26 v1 计算与语言
密码学与安全
摘要
大语言模型（LLMs）是优秀的上下文学习器。然而，提示中所含数据的敏感性引发了隐私担忧。我们的工作首先表明这些担忧是合理的：我们实例化了一种简单但高效的成员推断攻击，针对用于提示LLMs的数据。为解决此漏洞，可放弃提示并诉诸以已知私有梯度下降算法微调LLMs。但这以牺牲提示所带来的实用性与效率为代价。因此，我们提出私有学习提示。我们首先表明软提示可通过对下游数据梯度下降私有获得。然而离散提示并非如此。因而，我们在一组呈现不同提示的LLMs集成中编排带噪投票，即随机鹦鹉群。该投票将群体的知识私有迁移至单一公共提示。我们展示了以我们私有算法提示的LLMs紧密匹配非私有基线。例如，以GPT3为基模型，我们在sst2数据集上以()-差分隐私取得92.7%的下游准确率，而非私有基线为95.2%。通过实验，我们还展示了基于提示的方法可轻易部署于现有商业API。
引用
@article{arxiv.2305.15594,
title = {Flocks of Stochastic Parrots: Differentially Private Prompt Learning for Large Language Models},
author = {Haonan Duan and Adam Dziedzic and Nicolas Papernot and Franziska Boenisch},
journal= {arXiv preprint arXiv:2305.15594},
year = {2023}
}