FL-TAC：通过低秩任务特定适配器聚类增强联邦学习中的微调
机器学习
2024-04-25 v1 人工智能
摘要
尽管大规模预训练模型具有通过微调适应下游任务的巨大潜力，但此类微调模型的性能往往受到难以收集足够高质量、特定任务数据的限制。联邦学习 (FL) 通过支持具有各种任务数据的大规模客户端进行微调，提供了一种有前途的解决方案，但由于预训练模型规模庞大，它受到巨大通信开销的瓶颈限制。本文通过低秩微调解决了 FL 框架内微调大型预训练模型的高通信成本问题。具体来说，我们在客户端为每个单独任务训练一个低秩适配器，随后在服务器端对相似适配器组进行聚类，以实现特定任务的聚合。在各种语言和视觉任务（如 GLUE 和 CIFAR-10/100）上的大量实验揭示了 FL 训练过程中特定任务适配器的演变，并验证了所提出的低秩任务特定适配器聚类 (TAC) 方法的有效性。
引用
@article{arxiv.2404.15384,
title = {FL-TAC: Enhanced Fine-Tuning in Federated Learning via Low-Rank, Task-Specific Adapter Clustering},
author = {Siqi Ping and Yuzhu Mao and Yang Liu and Xiao-Ping Zhang and Wenbo Ding},
journal= {arXiv preprint arXiv:2404.15384},
year = {2024}
}