面向大语言模型的用户级差分隐私微调
机器学习
2024-07-11 v1 计算与语言
密码学与安全
分布式、并行与集群计算
摘要
我们研究针对大语言模型（LLM）进行用户级差分隐私（DP）微调的实用且可扩展算法，以确保对每个用户贡献的所有示例都能得到可证明的保护。我们研究了两种变体的 DP-SGD：（1）示例级抽样（ELS）和逐示例梯度裁剪，（2）用户级抽样（ULS）和逐用户梯度裁剪。我们推导了一种新型的用户级 DP 账户器，允许我们计算 ELS 的可证明紧密隐私保证。使用这一方法，我们指出尽管在特定环境下 ELS 可能优于 ULS，但 ULS 在每个用户拥有多样化示例集合时通常效果更好。我们通过在合成均值估计和 LLM 微调任务下在固定计算预算下进行实验来验证了我们的发现。我们发现，ULS 在需要强隐私保证或计算预算较大的情况下效果显著更好。值得注意的是，我们关注与 LLM 兼容的训练算法，使我们能够扩展到数十亿参数的模型和数十万用户的数据集。
引用
@article{arxiv.2407.07737,
title = {Fine-Tuning Large Language Models with User-Level Differential Privacy},
author = {Zachary Charles and Arun Ganesh and Ryan McKenna and H. Brendan McMahan and Nicole Mitchell and Krishna Pillutla and Keith Rush},
journal= {arXiv preprint arXiv:2407.07737},
year = {2024}
}