基于差分隐私少样本生成的隐私保护上下文学习
机器学习
2024-01-30 v2 密码学与安全
摘要
我们研究了在私有数据集上使用大语言模型（LLMs）进行上下文学习（ICL）的问题。该场景带来隐私风险，因为LLMs可能泄露或复现提示中展示的私有示例。我们提出了一种新算法，以形式化差分隐私（DP）保证从私有数据集生成合成的少样本示例，并通过实证表明其可实现有效的ICL。我们在标准基准上进行了大量实验，并将我们的算法与非私有ICL和零样本方案进行比较。我们的结果表明，我们的算法在强隐私级别下可取得具有竞争力的性能。这些结果为广泛应用中带隐私保护的ICL开辟了新可能。
引用
@article{arxiv.2309.11765,
title = {Privacy-Preserving In-Context Learning with Differentially Private Few-Shot Generation},
author = {Xinyu Tang and Richard Shin and Huseyin A. Inan and Andre Manoel and Fatemehsadat Mireshghallah and Zinan Lin and Sivakanth Gopi and Janardhan Kulkarni and Robert Sim},
journal= {arXiv preprint arXiv:2309.11765},
year = {2024}
}