面向客户端异构性的基于SVD的联邦低秩适应秩崩失控预防方法
机器学习
2026-05-12 v2 人工智能
分布式、并行与集群计算
摘要
联邦低秩适应（FedLoRA）已促进了基础模型在下游任务上的通信高效和隐私保护式微调。在实际的联邦学习场景中，由于客户端在系统资源和数据分布上的异构性，动机使用不同秩的LoRA。然而，我们发现了联邦低秩适应中SVD-based分配方法中存在一种被忽视的现象，称为秩崩溃（rank collapse），即全局更新的能量集中在最小共享秩中，导致性能次优且对秩配置高度敏感。通过理论分析，我们揭示了秩崩溃的根本原因：基于秩无关性聚合权重与秩相关性客户端贡献之间的不匹配，这在每轮中系统性地抑制了高秩更新。鼓励此洞察，我们提出了raFLoRA，即一种秩分区聚合方法，将局部更新分解为秩分区，然后按其有效客户端贡献加权聚合每个分区。广泛的实验在视觉、语言和推理任务上表明，raFLoRA防止了秩崩溃，提高了模型性能，并在多样化的异构配置下增强了鲁棒性，而与强大的FedLoRA基线方法相比。
引用
@article{arxiv.2602.13486,
title = {Preventing Rank Collapse in Federated Low-Rank Adaptation with Client Heterogeneity},
author = {Fei Wu and Jia Hu and Geyong Min and Shiqiang Wang},
journal= {arXiv preprint arXiv:2602.13486},
year = {2026}
}