FedTreeLoRA：在联邦 LoRA 微调中解决统计异构性与功能异构性
机器学习
2026-05-27 v2 人工智能
摘要
使用低秩适应（LoRA）的联邦学习（FL）已成为隐私保护的大语言模型（LLM）微调标准方法。然而，现有个性化方法主要基于限制性的平面模型假设：它们解决客户端侧的统计异构性，但将模型视为单一整体，忽略了跨 LLM 各层的功能异构性。我们认为，这两种统计（水平）和功能（垂直）维度在源头上是正交的，但在相互作用中存在耦合，这意味着参数共享的最优深度在功能上取决于客户端的相似性。为此，我们提出了FedTreeLoRA框架，采用树状聚合结构实现细粒度、逐层对齐。通过动态构建聚合层次结构，FedTreeLoRA 允许客户端在浅层“树干”上共享广泛共识，同时在深层“树枝”上逐步专业化。在 NLU 和 NLG 基准测试上实验表明，FedTreeLoRA 通过有效解决泛化与个性化之间的平衡，显著优于最先进的方法。
引用
@article{arxiv.2603.13282,
title = {FedTreeLoRA: Reconciling Statistical and Functional Heterogeneity in Federated LoRA Fine-Tuning},
author = {Jieming Bian and Lei Wang and Letian Zhang and Jie Xu},
journal= {arXiv preprint arXiv:2603.13282},
year = {2026}
}
备注
Accepted by ICML 2026