大型语言模型中的Token级隐私保护
计算与语言
2025-03-06 v1 密码学与安全
摘要
将语言模型用作远程服务需要向外部提供商传输私人信息，引发了重大的隐私担忧。这一过程不仅面临将敏感数据暴露给不可信服务提供商的风险，还使其容易受到窃听者的拦截。现有的自然语言处理(NLP)交互隐私保护方法主要依赖语义相似性，忽略了上下文信息的作用。在本工作中，我们引入了dchi-stencil，一种新型的token级隐私保护机制，它在dchi差分隐私框架下整合了上下文和语义信息，同时确保了强隐私保障，实现了2ε-dchi隐私。通过同时纳入语义和上下文细微差别，dchi-stencil在隐私与效用之间实现了稳健的平衡。我们使用最先进的语言模型和多样化数据集对dchi-stencil进行了评估，在效用与隐私的权衡方面达到了与现有方法相当甚至更好的水平。本工作突显了dchi-stencil在现代高风险应用中为隐私保护NLP设定新标准的潜力。
引用
@article{arxiv.2503.03652,
title = {Token-Level Privacy in Large Language Models},
author = {Re'em Harel and Niv Gilboa and Yuval Pinter},
journal= {arXiv preprint arXiv:2503.03652},
year = {2025}
}