用于可扩展大语言模型微调的微分隐私零阶方法
机器学习
2025-03-11 v6 人工智能
计算与语言
摘要
在特定任务数据集上进行微调是利用预训练大语言模型（LLMs）的强大能力处理各种下游任务的广泛采用的范式。由于 LLM 微调的普及及其伴随的隐私担忧，预训练 LLM 的微分隐私（DP）微调已被广泛用于保护特定任务数据集的隐私。DP LLM 微调方法设计的核心在于隐私、效用和可扩展性之间的令人满意的权衡。大多数现有方法建立在 DP-SGD 的开创性工作之上。尽管将 DP-SGD 的可扩展性推向了极限，但基于 DP-SGD 的微调方法不幸受到 SGD 固有低效性的限制。在本文中，我们研究了 DP 零阶方法在 LLM 预训练中的潜力，该方法通过用更高效的零阶梯度近似梯度，避免了 SGD 的可扩展性瓶颈。本文并非将零阶方法视为 SGD 的直接替代品，而是进行了全面的理论和实证研究。首先，我们提出了分阶段 DP 零阶方法（DP-ZOSO），该方法动态调度关键超参数。这一设计基于 DP 随机扰动与零阶方法的梯度近似误差之间的协同作用及其对微调轨迹的影响。我们为所提出的两种方法提供了理论分析。我们在仅编码器掩码语言模型和仅解码器自回归语言模型上进行了广泛的实证分析，无论任务类别如何，在可扩展性和效用方面均取得了令人印象深刻的结果（与 DPZero 相比，当 时，DP-ZOPO 在 RoBERTa-Large 上的 SST-5 提升了 ，MNLI 提升了 ，在 OPT-2.7b 上的 CB 提升了 9.2\%，BoolQ 提升了 3.9\%，在更复杂的任务上表现出更显著的性能提升）。
引用
@article{arxiv.2402.07818,
title = {Differentially Private Zeroth-Order Methods for Scalable Large Language Model Finetuning},
author = {Z Liu and J Lou and W Bao and Y Hu and B Li and Z Qin and K Ren},
journal= {arXiv preprint arXiv:2402.07818},
year = {2025}
}