隐私感知解码：缓解检索增强生成中大型语言模型的隐私泄露
计算与语言
2025-08-06 v1
摘要
检索增强生成(RAG)通过以外部知识来源为输出提供条件来提高大型语言模型(LLM)的事实准确性。然而，当检索涉及私人或敏感数据时，RAG 系统就可能通过生成的响应泄露机密信息。我们提出了隐私感知解码(PAD)，一种轻量级、推理时的防御措施，通过在生成期间对 token logits 注入已校准的高斯噪声来自适应地降低风险。PAD 集成了基于置信度的筛选，以选择性地保护高风险 token，采用有效的灵敏度估计以最小化不必要的噪声，并通过上下文感知的噪声校准在隐私与生成质量之间取得平衡。一个 Renyi 差分隐私(RDP)帐户严格跟踪累积隐私损失，为敏感输出提供明确的 per-response (ε, δ)-DP 保证。与需要重新训练或语料库级别过滤的先前方法不同，PAD 是模型无关的，完全在解码时以最小的计算开销运行。实验在三个真实数据集上表明，PAD 在显著减少私人信息泄露的同时，保持了响应实用性，优于现有的检索和后处理防御方法。我们的工作为通过解码策略缓解 RAG 中的隐私风险，为敏感领域的通用和可扩展隐私解决方案铺平了道路。我们的代码可获取：https://github.com/wang2226/PAD。
引用
@article{arxiv.2508.03098,
title = {Privacy-Aware Decoding: Mitigating Privacy Leakage of Large Language Models in Retrieval-Augmented Generation},
author = {Haoran Wang and Xiongxiao Xu and Baixiang Huang and Kai Shu},
journal= {arXiv preprint arXiv:2508.03098},
year = {2025}
}