针对异构客户端聚合的低秩适配联邦学习
机器学习
2025-11-21 v1
摘要
联邦学习中的低秩适配（LoRA）在客户端异构性情况下面临三个关键挑战：（1）由于随机初始化导致初始化引发的不稳定性，使客户端子空间错位；（2）在对不同秩的LoRA参数进行平均时出现秩不兼容和聚合误差，这会偏向全局模型；（3）在非独立同分布（Non-IID）数据下，客户端漂移问题将被加剧，损害模型的泛化能力。为此，本文提出了ILoRA框架，集成三个核心创新：采用基于QR分解的正交初始化，确保所有客户端在一致子空间中启动；提出连接式QR聚合机制，通过拼接和分解来融合不同秩的更新，既保留信息又保持维度对齐；以及引入基于AdamW优化器的秩感知控制变数，以纠正局部更新，减轻客户端漂移。该方法在理论收敛保证支持下，经历了在视觉和自然语言处理基准测试上的大量实验，表明ILoRA在准确率和收敛稳定性方面 consistently 优于现有的联邦LoRA方法。
引用
@article{arxiv.2511.16069,
title = {ILoRA: Federated Learning with Low-Rank Adaptation for Heterogeneous Client Aggregation},
author = {Junchao Zhou and Junkang Liu and Fanhua Shang},
journal= {arXiv preprint arXiv:2511.16069},
year = {2025}
}