DEeR：消除偏差调控噪声用于隐私保护的联邦低秩适配
计算机视觉与模式识别
2025-02-25 v1
摘要
最近， 将低秩适应(LoRA)与联邦学习(FL)集成以适应预训练基础模型(FMs)以适配下游医学任务，已受到广泛关注，旨在通过隐私保护的去中心化训练实现。然而，由于LoRA与FL的直接组合，当前方法通常面临两个问题，即聚合偏差和差分隐私(DP)噪声放大效应。为解决这些问题，我们提出一种新型隐私保护联邦微调框架，称为消除偏差调控噪声(Deviation Eliminating and Noise Regulating, DEeR)。具体而言，我们首先在理论上证明消除聚合偏差的必要条件是确保客户端的LoRA参数等价。基于这一理论洞察，设计了偏差消除器，通过交替最小化算法迭代优化零初始化和非零初始化的LoRA参数矩阵，确保训练期间聚合偏差始终为零。此外，我们深入分析了噪声放大效应，发现该问题主要由DP噪声与LoRA参数之间的“线性关系”所致。为抑制噪声放大效应，我们提出了噪声调节器，通过两种调节因子解耦DP与LoRA之间的关系，从而实现稳健的隐私保护和优异的微调性能。此外，我们进行了全面的消融实验以验证偏差消除器和噪声调节器的有效性。DEeR在公开医学数据集上表现优于最新方法。代码已公开于 https://github.com/CUHK-AIM-Group/DEeR。
引用
@article{arxiv.2410.12926,
title = {DEeR: Deviation Eliminating and Noise Regulating for Privacy-preserving Federated Low-rank Adaptation},
author = {Meilu Zhu and Axiu Mao and Jun Liu and Yixuan Yuan},
journal= {arXiv preprint arXiv:2410.12926},
year = {2025}
}