面向大语言模型的隐私保护上下文学习
机器学习
2023-10-03 v2 人工智能
密码学与安全
摘要
上下文学习（ICL）是大语言模型（LLMs）的一项重要能力，使这些模型能够基于特定的上下文示例动态适应，从而提高准确性与相关性。然而，LLM 的响应可能会泄露上下文示例中包含的敏感隐私信息。为应对这一挑战，我们提出了差分隐私上下文学习（DP-ICL），一种用于隐私化 ICL 任务的通用范式。DP-ICL 范式的关键思想是通过基于不相交示例集的 LLM 响应集成之间的带噪共识来生成差分隐私响应。基于 DP-ICL 的通用范式，我们实例化了若干技术，展示了如何对文本分类与语言生成任务中的 ICL 进行隐私化。我们在四个文本分类基准和两个语言生成任务上评估了 DP-ICL，实证结果表明 DP-ICL 实现了强劲的效用-隐私权衡。
引用
@article{arxiv.2305.01639,
title = {Privacy-Preserving In-Context Learning for Large Language Models},
author = {Tong Wu and Ashwinee Panda and Jiachen T. Wang and Prateek Mittal},
journal= {arXiv preprint arXiv:2305.01639},
year = {2023}
}