PrivacyRestore：基于隐私消除与恢复的大语言模型隐私推理
密码学与安全
2025-05-29 v5 人工智能
摘要
大语言模型(LLM)的在线推理服务的广泛使用引发了关于用户输入中私有信息可能暴露给恶意窃听者的隐私 concerns。现有的LLM隐私保护方法要么隐私保护不足，要么会导致性能下降，要么会产生较大的推理时间开销。为解决这些限制，我们提出了PrivacyRestore，这是一种用于在LLM推理期间保护用户输入隐私的即插即用方法。服务器首先为每个隐私片段训练恢复向量，然后发布给客户端。隐私片段定义为文本中包含私有信息的连续标记序列。客户端随后将输入中所有隐私片段的恢复向量聚合为单个元恢复向量，并在输入中不包含隐私片段的情况下发送到服务器端。通过推理期间的激活引导恢复私有信息。 Furthermore, 我们证明了PrivacyRestore天然地防止了隐私预算的线性增长。我们创建了三个覆盖医疗和法律领域的数据集，以评估隐私保护方法的有效性。实验结果表明，PrivacyRestore有效保护了私有信息，同时保持了可接受的性能和推理开销。
引用
@article{arxiv.2406.01394,
title = {PrivacyRestore: Privacy-Preserving Inference in Large Language Models via Privacy Removal and Restoration},
author = {Ziqian Zeng and Jianwei Wang and Junyao Yang and Zhengdong Lu and Haoran Li and Huiping Zhuang and Cen Chen},
journal= {arXiv preprint arXiv:2406.01394},
year = {2025}
}
备注
Accepted by ACL2025