提示微调语言模型能确保隐私吗？

提示微调在语言领域作为一种高效的微调方法受到关注，即微调长度仅为几个token的提示，同时保持大语言模型冻结，却能取得与传统微调相当的性能。考虑到语言模型日益凸显的隐私问题，我们发起了对提示微调设置下隐私泄露的研究。我们首先描述了一个真实的电子邮件服务流水线，该流水线通过提示微调为各类用户提供定制化输出。然后，我们提出了一种新型隐私攻击框架，通过利用带有用户特定信号的提示模块来推断用户的私人信息。我们对目标流水线进行了全面的隐私评估，以展示提示微调的潜在泄露风险。结果也证明了所提出攻击的有效性。