关于上下文学习的隐私风险
机器学习
2024-11-19 v1 密码学与安全
摘要
大语言模型（LLM）是优秀的少样本学习者。它们仅凭提供的自然语言提示即可执行各类任务。这些提示包含特定下游任务的数据——通常是某方的私有数据集，例如希望利用 LLM 的公司。我们通过实例化一种高效的成员推理攻击，证明部署提示模型会给提示中使用的数据带来显著隐私风险。我们还观察到，在相同效用水平下，提示模型的隐私风险超过了微调模型。在识别出模型对提示的敏感性——表现为在提示数据上显著更高的预测置信度——是导致风险增加的原因后，我们提出集成作为缓解策略。通过聚合多个不同版本的提示模型，可降低成员推理风险。
引用
@article{arxiv.2411.10512,
title = {On the Privacy Risk of In-context Learning},
author = {Haonan Duan and Adam Dziedzic and Mohammad Yaghini and Nicolas Papernot and Franziska Boenisch},
journal= {arXiv preprint arXiv:2411.10512},
year = {2024}
}