通过平坦性实现大语言模型的隐私保护微调
人工智能
2024-03-08 v1
摘要
随着ChatGPT等大语言模型(LLM)的发展，与使用LLM相关的隐私问题近来日益突出。现有工作探索了差分隐私(DP)技术以降低隐私风险，但代价是泛化性能下降。我们的论文揭示了DP训练模型的损失景观平坦性在其隐私与泛化权衡中起着关键作用。我们进一步提出了一个整体框架来强制施加适当的权重平坦性，该框架在保持竞争性隐私保护的同时显著提升了模型泛化能力。该框架从三个由粗到细的层面进行创新，包括：层内模型权重上的扰动感知极小极大优化、跨层权重上的平坦性引导稀疏前缀微调，以及DP与非DP权重副本之间的权重知识蒸馏。我们进行了黑盒和白盒场景的综合实验，以证明我们的提议在增强泛化和保持DP特性方面的有效性。例如，在文本分类数据集QNLI上，DP-Flat在隐私预算下实现了与非私有全微调相似的性能且具有DP保证，在更高隐私预算下甚至取得了更好的性能。代码见补充材料。
引用
@article{arxiv.2403.04124,
title = {Privacy-preserving Fine-tuning of Large Language Models through Flatness},
author = {Tiejin Chen and Longchao Da and Huixue Zhou and Pingzhi Li and Kaixiong Zhou and Tianlong Chen and Hua Wei},
journal= {arXiv preprint arXiv:2403.04124},
year = {2024}
}
备注
Accepted to ICLR 2024 SeT LLM Workshop