Split-and-Denoise：以本地差分隐私保护大语言模型推理
人工智能
2024-08-28 v4 密码学与安全
摘要
大语言模型（LLMs）通过在向量空间中捕获隐藏语义而在自然语言理解方面表现出色。这一过程丰富了文本嵌入对于各种下游任务的价值，从而催生了嵌入即服务（EaaS）的商业模式。然而，由于直接向服务器传输文本所导致的隐私泄露风险仍是一个关键问题。为此，我们引入了 Split-N-Denoise（SnD），一种私有推理框架，它将模型拆分以在客户端以极低计算成本执行词元嵌入层。这使得客户端能够在将嵌入传输至服务器之前引入噪声，随后接收受扰动的输出嵌入并去噪以用于下游任务。我们的方法针对 LLM 的推理阶段设计，且无需修改模型参数。大量实验证明了 SnD 在各种 LLM 架构和多样化下游任务中优化隐私-效用权衡的有效性。结果显示，在相同隐私预算下，与基线相比性能平均提升超过 10%，为客户端提供了一种保护本地隐私的隐私保护方案。
引用
@article{arxiv.2310.09130,
title = {Split-and-Denoise: Protect large language model inference with local differential privacy},
author = {Peihua Mai and Ran Yan and Zhe Huang and Youjia Yang and Yan Pang},
journal= {arXiv preprint arXiv:2310.09130},
year = {2024}
}
备注
Proceedings of the 41st International Conference on Machine Learning, 22 pages