PrivacyMind:大语言模型可作为上下文隐私保护学习器
计算与语言
2024-10-29 v3 人工智能
机器学习
摘要
大语言模型(LLMs)的激增引发了将其用领域特定数据微调以构建专用语言模型的浓厚兴趣。然而,此类领域特定的微调数据常包含上下文敏感的 personally identifiable information(PII,个人可识别信息)。直接在该数据上微调 LLM 而不加隐私保护,会在推理时带来敏感 PII 泄露的风险。为应对此挑战,我们提出上下文隐私保护语言模型(PrivacyMind),一种微调 LLM 的新范式,在有效注入领域知识的同时保障推理时的数据隐私。我们的工作为模型设计提供了理论分析,并基准测试了语料筛选、训练损失中基于惩罚的不似然、基于指令的微调等多种技术。跨多个数据集与场景的广泛实验证明了我们方法的有效性。特别地,兼具正例与负例的指令微调成为一种有前景的方法,在保护私有数据的同时增强模型知识。我们的工作凸显了大语言模型作为鲁棒上下文隐私保护学习器的潜力。本工作的完整代码与数据见 https://github.com/Yijia-Xiao/PrivacyMind。
引用
@article{arxiv.2310.02469,
title = {PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners},
author = {Yijia Xiao and Yiqiao Jin and Yushi Bai and Yue Wu and Xianjun Yang and Xiao Luo and Wenchao Yu and Xujiang Zhao and Yanchi Liu and Quanquan Gu and Haifeng Chen and Wei Wang and Wei Cheng},
journal= {arXiv preprint arXiv:2310.02469},
year = {2024}
}
备注
Accepted at EMNLP 2024 Main