局部差分隐私情境学习
密码学与安全
2024-05-09 v2 人工智能
摘要
大型预训练语言模型 (LLM) 展现出惊人的情境学习 (In-Context Learning, ICL) 能力。将大型语言模型与私有数据库augment以解决特定任务的应用是 LLM 部署的重要场景之一。然而，这一有前景的商业应用的主要问题是， LLM 被证明会记忆其训练数据，其提示数据易受到成员推断攻击 (membership inference attack, MIA) 和提示泄露攻击的威胁。为此，我们将 LLM 视为不可信的隐私方，提出一种针对标签敏感场景的局部差分隐私情境学习框架 (LDP-ICL)。考虑到 Transformer 中情境学习机制的工作原理，我们对 LDP-ICL 在分类任务中的隐私与效用之间的权衡进行了分析。此外，我们将 LDP-ICL 应用于离散分布估计问题。最后，我们进行若干实验以演示分析结果。
引用
@article{arxiv.2405.04032,
title = {Locally Differentially Private In-Context Learning},
author = {Chunyan Zheng and Keke Sun and Wenhao Zhao and Haibo Zhou and Lixin Jiang and Shaoyang Song and Chunlai Zhou},
journal= {arXiv preprint arXiv:2405.04032},
year = {2024}
}
备注
This paper was published at LREC-Coling 2024