DP-DyLoRA：基于动态低秩适配的差分隐私联邦学习下设备端微调Transformer模型
机器学习
2025-02-18 v4 密码学与安全
分布式、并行与集群计算
摘要
联邦学习（FL）允许客户端在不与服务器共享本地数据的情况下协作训练全局模型。然而，客户端对服务器的贡献仍可能泄露敏感信息。差分隐私（DP）通过提供形式化的隐私保证来解决此类泄露问题，其机制向客户端的贡献中添加随机性。这种随机性使得在现代联邦学习系统中常见的大型Transformer模型难以训练。在本工作中，我们实证评估了在联邦学习系统中使用差分隐私微调大规模设备端Transformer模型的实用性。我们对涵盖多个领域任务的各种系统属性进行了全面实验：语音识别、计算机视觉（CV）和自然语言理解（NLU）。结果表明，在差分隐私联邦学习（DP-FL）下进行全量微调通常会导致巨大的性能下降，这可以通过参数高效微调（PEFT）降低贡献的维度来缓解。我们对现有DP-PEFT方法的基准测试表明，DP-低秩适配（DP-LoRA）始终优于其他方法。一种更有前景的方法DyLoRA，它使低秩可变，但若直接与FL结合，会直接破坏差分隐私。因此，我们提出了一种可与差分隐私结合的适配方法，并将其命名为DP-DyLoRA。最终，在100万客户端和严格的隐私预算条件下，我们能够将因差分隐私导致的准确率下降和词错误率（WER）增加分别降低到2%和7%以下。
引用
@article{arxiv.2405.06368,
title = {DP-DyLoRA: Fine-Tuning Transformer-Based Models On-Device under Differentially Private Federated Learning using Dynamic Low-Rank Adaptation},
author = {Jie Xu and Karthikeyan Saravanan and Rogier van Dalen and Haaris Mehmood and David Tuckey and Mete Ozay},
journal= {arXiv preprint arXiv:2405.06368},
year = {2025}
}
备注
16 pages, 10 figures, 5 tables