基石模型的联邦低秩适应：综述
机器学习
2025-10-27 v1
摘要
有效利用私有数据仍是开发基石模型的重大挑战。联邦学习（FL）最近作为一种协作框架涌现出来，使多个用户能够在降低数据隐私风险的同时对这些模型进行微调。同时，低秩适应（LoRA）提供了一种资源高效的微调基石模型的方法，通过大幅降低可训练参数数量来实现。本综述考察了 LoRA 如何被集成到基石模型的联邦微调中，我们称之为 FedLoRA，重点聚焦三个关键挑战：分布式学习、异构性和效率。我们进一步根据解决每个挑战所采用的具体方法对现有工作进行分类。最后，我们讨论了开放的研究问题，概述了未来研究的有前景的方向，勾勒了推进 FedLoRA 的下一步步伐。
引用
@article{arxiv.2505.13502,
title = {Federated Low-Rank Adaptation for Foundation Models: A Survey},
author = {Yiyuan Yang and Guodong Long and Qinghua Lu and Liming Zhu and Jing Jiang and Chengqi Zhang},
journal= {arXiv preprint arXiv:2505.13502},
year = {2025}
}