面向异构客户端的鲁棒高效联邦低秩自适应
机器学习
2025-06-02 v2 人工智能
分布式、并行与集群计算
摘要
大型语言模型（LLM）的联邦微调面临传输大型模型更新带来的沉重通信开销。尽管低秩自适应已被提出作为解决方案，但其在联邦学习中的应用因聚合不一致而变得复杂。现有的解决此不一致性的方法在异构数据设置下的低秩条件下往往遭受性能退化。作为回应，我们引入了 LoRA-A（低秩自适应与交替冻结和自适应秩选择），该方法在低秩和高数据异质性的挑战性设置下表现出鲁棒性。我们的实验结果表明，LoRA-A 即使在极端异质性和低秩条件下也能保持性能，与完整微调相比，在上传参数数量上实现了显著减少，同时不损害性能。这种自适应机制增强了联邦微调中的鲁棒性和通信效率，使 LLM 在资源受限环境中的实际部署成为可能。
引用
@article{arxiv.2410.22815,
title = {Towards Robust and Efficient Federated Low-Rank Adaptation with Heterogeneous Clients},
author = {Jabin Koo and Minwoo Jang and Jungseul Ok},
journal= {arXiv preprint arXiv:2410.22815},
year = {2025}
}
备注
Appears in ACL 2025