参数高效联邦学习：模型对比个性化
计算与语言
2024-09-04 v1 机器学习
摘要
随着对数据隐私的日益关注和监管，微调大型预训练语言模型（PLM）在联邦学习（FL）中已成为NLP任务的常见范式。尽管已广泛研究，但现有方法仍面临两个主要挑战：首先，大型预训练语言模型中参数的庞大数量导致通信和计算开销过大；其次，跨客户端数据和任务的异构性构成实现所需微调性能的重大障碍。为解决上述问题，我们提出FedMCP，即一种针对联邦学习的参数高效微调方法，采用模型对比个性化。具体而言，FedMCP在冻结的PLM内部添加两个轻量级适配器模块，即全局适配器和私有适配器。 在一次通信轮次中，每个客户端仅将全局适配器发送给服务器进行联邦聚合。此外，FedMCP引入模型对比正则化项 between 两个适配器。这一机制一方面鼓励全局适配器吸收通用知识，另一方面促进私有适配器捕获特定于客户端的知识。通过利用两个适配器，FedMCP能够有效地为各个客户端提供量身定制的微调个性化模型。在高度异构的跨任务、跨地区数据集上进行的大量实验表明，FedMCP 在大型预训练语言模型的SOTA联邦学习微调方法方面实现了显著的性能提升。
引用
@article{arxiv.2409.00116,
title = {FedMCP: Parameter-Efficient Federated Learning with Model-Contrastive Personalization},
author = {Qianyi Zhao and Chen Qu and Cen Chen and Mingyuan Fan and Yanhao Wang},
journal= {arXiv preprint arXiv:2409.00116},
year = {2024}
}