Fed-HeLLo: 基于异构 LoRA 分配的高效联邦基础模型微调
机器学习
2025-06-17 v1 分布式、并行与集群计算
摘要
联邦学习最近被用于在多个客户端之间协作微调基础模型。值得注意的是，基于低秩适应的联邦 LoRA 微调方法最近受到关注，允许客户端使用少量可训练参数在本地微调基础模型。然而，大多数现有方法没有考虑客户端的异构资源，或者缺乏有效的本地训练策略来在有限资源下最大化全局微调性能。在这项工作中，我们提出了 Fed-HeLLo，一个新颖的基于 LoRA 的联邦微调框架，使客户端能够使用不同的本地可训练 LoRA 层协作微调基础模型。为确保其有效性，我们开发了若干异构 LoRA 分配（HLA）策略，根据客户端的资源能力和层重要性自适应地分配本地可训练 LoRA 层。具体而言，基于动态层重要性，我们设计了一个基于费雪信息矩阵得分的 HLA，利用动态梯度范数信息。为了更好地稳定训练过程，我们考虑了 LoRA 层的固有重要性，并设计了一个几何定义的 HLA 策略。它将可训练 LoRA 层的集体分布塑造成特定的几何模式，如三角形、倒三角形、瓶颈和均匀。此外，我们将 GD-HLA 扩展为一个随机版本，称为随机几何定义 HLA，以增强模型准确性。通过协同设计所提出的 HLA 策略，我们将动态和固有层重要性融入 HLA 策略的设计中。我们在五个数据集上评估了我们的方法，涵盖从 IID 到极端 Non-IID 的三种数据分布水平。结果表明，Fed-HeLLo 配合 HLA 策略既有效又高效。
引用
@article{arxiv.2506.12213,
title = {Fed-HeLLo: Efficient Federated Foundation Model Fine-Tuning with Heterogeneous LoRA Allocation},
author = {Zikai Zhang and Ping Liu and Jiahao Xu and Rui Hu},
journal= {arXiv preprint arXiv:2506.12213},
year = {2025}
}
备注
Accepted to TNNLS 2025