用于端侧基础模型联邦微调的异构LoRA
机器学习
2024-02-22 v2 分布式、并行与集群计算
摘要
基础模型（FM）通过微调能很好地适应特定领域或任务，而联邦学习（FL）使得利用端侧本地数据进行隐私保护的FM微调成为可能。对于FM的联邦微调，我们考虑参数规模最大为个位数十亿的小到中等FM，称为端侧FM（ODFM），它们可以部署在设备上进行推理，但只能通过参数高效的方法进行微调。在我们的工作中，通过提出一种使用异构低秩近似（LoRA）的新方法，即HetLoRA，我们解决了ODFM联邦微调的数据和系统异构性问题。首先，我们展示了在设备间使用同构LoRA秩的朴素方法面临过拟合和收敛缓慢之间的权衡，因此提出了HetLoRA，它允许跨客户端设备的异构秩，并高效地聚合和分发这些异构LoRA模块。通过在本地应用秩自剪枝和在服务器端应用稀疏加权聚合，HetLoRA结合了高秩和低秩LoRA的优势，与同构LoRA相比，实现了更快的收敛速度和更好的最终性能。此外，与全微调相比，HetLoRA提供了更高的计算效率，使其适用于跨异构设备的联邦微调。
引用
@article{arxiv.2401.06432,
title = {Heterogeneous LoRA for Federated Fine-tuning of On-Device Foundation Models},
author = {Yae Jee Cho and Luyang Liu and Zheng Xu and Aldi Fahrezi and Gauri Joshi},
journal= {arXiv preprint arXiv:2401.06432},
year = {2024}
}