基于排名的LoRA聚合用于Federated Learning as a Service中的异构模型微调
机器学习
2024-10-01 v2 分布式、并行与集群计算
摘要
联邦学习（FL）是一种可部署在各种设备上的前沁隐私感知分布式学习框架，包括移动电话、桌面计算机以及配备CPU或GPU的设备。在基于服务器的联邦学习即服务（FLaaS）环境中，FL允许中心服务器在不直接访问本地数据的情况下协调跨多个设备的训练过程，从而增强隐私和数据安全。低秩适应（LoRA）是一种通过聚焦于模型参数的低维子空间来高效微调模型的方法。该方法相较于从头开始对所有参数进行微调显著降低了计算和内存成本。在FL集成的FLaaS环境中，LoRA允许根据本地模型的秩调整，以灵活且高效的方式跨越计算能力各异的硬件进行部署。然而，在LoRA启用的FL中，不同客户端可能训练不同秩的模型，这会对服务器端的模型聚合造成挑战。当前用于聚合不同秩模型的方法涉及将权重填充到统一形状，这可能会降低全局模型的性能。为解决此问题，我们提出了一种用于异构LoRA结构的排名基LoRA聚合（RBLA），这是一种新的模型聚合方法。RBLA保留了跨不同秩模型的关键特征。本文分析了FLaaS环境中用于重塑模型以进行聚合的填充方法的局限性。随后，我们介绍了一种既保持低秩特征又保持高秩特征的排名基聚合方法。最后，我们通过与最先进方法的比较实验展示了RBLA的有效性。
引用
@article{arxiv.2408.08699,
title = {RBLA: Rank-Based-LoRA-Aggregation for Fine-tuning Heterogeneous Models in FLaaS},
author = {Shuaijun Chen and Omid Tavallaie and Niousha Nazemi and Albert Y. Zomaya},
journal= {arXiv preprint arXiv:2408.08699},
year = {2024}
}