基于联邦学习的大语言模型差分隐私低秩自适应
机器学习
2024-06-04 v2 密码学与安全
摘要
大语言模型（LLM）的兴趣激增与应用普及激发了针对金融和医学等特定应用微调这些模型的动力。然而，数据隐私问题随之浮现，尤其是当多个利益相关者旨在利用敏感数据协作增强 LLM 时。在此场景下，联邦学习成为一种自然选择，它允许在不将原始数据暴露给中心服务器的情况下进行去中心化微调。受此启发，我们研究了如何通过实用的联邦学习方法在 LLM 微调中确保数据隐私，从而实现多方安全贡献以增强 LLM。然而，挑战依然存在：1) 尽管避免了原始数据暴露，但仍存在从模型输出中推断敏感信息的风险；2) 面向 LLM 的联邦学习会产生显著的通信开销。为应对这些挑战，本文介绍了 DP-LoRA，一种专为 LLM 定制的新型联邦学习算法。DP-LoRA 通过采用高斯机制在权重更新中添加噪声来保护数据隐私，在维护个体数据隐私的同时促进协作模型训练。此外，DP-LoRA 通过低秩自适应优化通信效率，最小化了分布式训练期间更新权重的传输量。在多种 LLM 上针对医疗、金融和通用数据集的实验结果表明，DP-LoRA 在最小化通信开销的同时有效确保了严格的隐私约束。
引用
@article{arxiv.2312.17493,
title = {Differentially Private Low-Rank Adaptation of Large Language Model Using Federated Learning},
author = {Xiao-Yang Liu and Rongyi Zhu and Daochen Zha and Jiechao Gao and Shan Zhong and Matt White and Meikang Qiu},
journal= {arXiv preprint arXiv:2312.17493},
year = {2024}
}
备注
21 pages, 1 figure, 19 tables