Cape：一种基于差分隐私的上下文感知提示扰动机制
密码学与安全
2025-05-16 v2 机器学习
摘要
大型语言模型（LLMs）因其在文本理解和生成方面的卓越能力而广受欢迎。然而，尽管它们被广泛部署于诸如ChatGPT之类的推理服务中，人们仍担忧潜在的用户敏感数据泄露问题。现有解决方案主要依赖隐私增强技术来缓解此类风险，但面临着效率、隐私和效用之间的权衡。为缩小这一差距，我们提出了Cape，一种基于差分隐私的上下文感知提示扰动机制，旨在实现高效推理并改善隐私-效用的权衡。具体而言，我们引入了一种混合效用函数，能更好地捕捉词元相似度。此外，我们提出了一种分桶采样机制来处理可能导致长尾现象的大采样空间。在多个数据集上的大量实验以及消融研究表明，与先前最先进的工作相比，Cape实现了更好的隐私-效用权衡。
引用
@article{arxiv.2505.05922,
title = {Cape: Context-Aware Prompt Perturbation Mechanism with Differential Privacy},
author = {Haoqi Wu and Wei Dai and Li Wang and Qiang Yan},
journal= {arXiv preprint arXiv:2505.05922},
year = {2025}
}
备注
to be published in ICML 2025