基于后验抽样的大语言模型隐私增强器 PSY
密码学与安全
2024-10-25 v1
摘要
大语言模型中的隐私漏洞, 例如来自记忆的泄露, 持续被识别, 并提出了各种缓解方案。LoRA 通常用于微调大语言模型, 是插入隐私增强模块的良好入口。在本 ongoing research 中, 我们引入 PSY, 一个基于后验抽样的 PrivacY enhancer, 可用于 LoRA。我们提出了一种简单而有效的 PSY 实现, 通过后验抽样有效防止来自中间信息的隐私泄露, 从而保留数据所有者的隐私。我们评估了扩展了 PSY 的 LoRA 相对于最新会员推理和数据提取攻击的效果。实验在三个不同的大语言模型架构上进行, 这些模型在三个数据集上使用 LoRA 进行微调。与常用差分隐私方法相比, 我们发现我们的方法持续减少攻击成功率。同时, 我们的方法几乎不会对模型微调或最终性能产生负面影响。最重要的是, PSY 揭示了一条具有潜力的隐私增强路径, 利用潜在空间扩展。
引用
@article{arxiv.2410.18824,
title = {PSY: Posterior Sampling Based Privacy Enhancer in Large Language Models},
author = {Yulian Sun and Li Duan and Yong Li},
journal= {arXiv preprint arXiv:2410.18824},
year = {2024}
}
备注
10 pages, 2 figures