DPZero：无需反向传播的语言模型隐私微调
机器学习
2024-06-07 v3 密码学与安全
最优化与控制
机器学习
摘要
在领域特定数据上微调大语言模型（LLMs）的广泛实践面临内存与隐私两方面的主要挑战。首先，随着 LLM 规模持续增长，基于梯度的反向传播训练方法的内存需求变得高得令人望而却步。其次，鉴于 LLM 倾向于记忆训练数据，保护微调数据中潜在敏感信息不被复现十分重要。零阶方法仅依赖前向传播，大幅降低了训练期间的内存消耗。然而，将它们与标准差分隐私梯度下降直接结合会随着模型规模增大而表现更差。为弥补这一差距，我们引入 DPZero，一种具有近乎维度无关收敛率的新型隐私零阶算法。DPZero 的内存效率在多个下游任务上 privately 微调 RoBERTa 和 OPT 中得到验证。我们的代码可在 https://github.com/Liang137/DPZero 获取。
引用
@article{arxiv.2310.09639,
title = {DPZero: Private Fine-Tuning of Language Models without Backpropagation},
author = {Liang Zhang and Bingcong Li and Kiran Koshy Thekumparampil and Sewoong Oh and Niao He},
journal= {arXiv preprint arXiv:2310.09639},
year = {2024}
}
备注
ICML 2024