HiLoRA:用于个性化联邦学习的分层低秩自适应
计算机视觉与模式识别
2026-03-04 v1
摘要
视觉Transformer(ViT)因其强大的可迁移性而被广泛应用于视觉任务。在联邦学习(FL)中,由于全微调通信开销巨大,低秩自适应(LoRA)提供了一种高效且通信友好的方式来适配ViT。然而,现有的基于LoRA的联邦微调方法忽略了现实环境中潜在的客户端结构,限制了共享表示学习,并阻碍了对未见客户端的有效适配。为了解决这个问题,我们提出了HiLoRA,一个分层LoRA框架,将适配器放置在三个层级:根层、簇层和叶层,分别设计用于捕获全局、子组和客户端特定的知识。通过跨层级正交性和级联优化,HiLoRA分离了更新子空间,并使每个层级与其残差个性化目标对齐。特别地,我们开发了一种LoRA-子空间自适应聚类机制,通过子空间相似性分析推断潜在的客户端组,从而促进结构对齐的客户端之间的知识共享。理论上,我们建立了支持HiLoRA设计的层级泛化分析。在基于ViT骨干网络的CIFAR-100和DomainNet上的实验表明,在个性化和泛化方面均取得了一致的改进。
引用
@article{arxiv.2603.02785,
title = {HiLoRA: Hierarchical Low-Rank Adaptation for Personalized Federated Learning},
author = {Zihao Peng and Nan Zou and Jiandian Zeng and Guo Li and Ke Chen and Boyuan Li and Tian Wang},
journal= {arXiv preprint arXiv:2603.02785},
year = {2026}
}
备注
Accepted to the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2026