FedSVD：面向私有联邦学习的自适应正交化

低秩适应（LoRA）通过将两个可训练的低秩矩阵的乘积引入到冻结的预训练权重中，广泛用于联邦学习（FL）中语言模型的高效微调。然而，当与差分隐私随机梯度下降（DP-SGD）结合时，LoRA 面临巨大的噪声放大：DP-SGD 对每个样本的梯度进行扰动，而 LoRA 更新的矩阵乘法（$BA$）会加剧这种效应。冻结一个矩阵（如 $A$）可减少噪声，但会限制模型的表达能力，常导致适应不佳。为此，我们提出了 $\texttt{FedSVD}$，一种简单而有效的方法，引入基于奇异值分解（SVD）的全局重参数化。在我们的方法中，每个客户端仅优化 $B$ 矩阵并将其传输给服务器。服务器聚合 $B$ 矩阵，使用先前的 $A$ 计算乘积 $BA$，并通过 SVD 对结果进行重分解。这得到一个新的自适应 $A$，由 $BA$ 的正交右奇异向量组成，以及包含剩余 SVD 成分的更新后的 $B$。这种重参数化避免了二次噪声放大，同时使 $A$ 能更好地捕获聚合更新的主方向。此外，$A$ 的正交结构限制了 $B$ 和 $A$ 的梯度范数，在 DP-SGD 下保留更多信号，正如我们的理论分析所证明的。因此，$\texttt{FedSVD}$ 在各种隐私设置和基准测试中始终能够提高稳定性和性能，在私有和非私有 regimes 下均优于相关基线。