FedRand：通过随机化 LoRA 子参数更新增强联邦学习中的隐私
机器学习
2025-03-12 v2
摘要
联邦学习（Federated Learning, FL）是一种广泛使用的去中心化模型训练框架，可确保中央服务器无法直接访问本地客户端的数据。然而，由于本地客户端的模型在聚合过程中会暴露给中央服务器，该方法可能仍无法完全保护数据隐私。在使用 FL 训练视觉语言模型（VLM）时，这一问题变得更为关键，因为 VLM 极易记忆训练数据实例，使其容易受到成员推理攻击（MIA）。为应对这一挑战，我们提出了 FedRand 框架，该框架避免披露客户端的全部参数。在该框架中，每个客户端从服务器随机选择低秩适应（LoRA）的子参数，并将 LoRA 权重中剩余的对应部分作为私有参数保留。在客户端的私有数据集上训练这两部分参数后，仅将非私有的客户端参数发回服务器进行聚合。该方法降低了暴露客户端 VLM 参数的风险，从而增强了数据隐私。我们通过实验验证，与相关基线相比，FedRand 提高了对 MIA 的鲁棒性，同时在多个基准数据集上实现了与传输完整 LoRA 参数的方法相当的准确率。
引用
@article{arxiv.2503.07216,
title = {FedRand: Enhancing Privacy in Federated Learning with Randomized LoRA Subparameter Updates},
author = {Sangwoo Park and Seanie Lee and Byungjoo Kim and Sung Ju Hwang},
journal= {arXiv preprint arXiv:2503.07216},
year = {2025}
}
备注
Preprint