C2A：面向参数高效联邦学习的客户端定制化适应
机器学习
2024-11-04 v1 人工智能
密码学与安全
摘要
尽管预训练语言模型（PLM）在多个领域具有广泛的应用前景，但其庞大的内存占用在联邦学习（FL）中构成了显著挑战，因为训练模型需要在服务器和客户端之间进行分布式部署。一个可能的解决方案是利用参数高效微调（PEFT）来规避此类限制。然而，我们注意到典型的 PEFT 在联邦学习场景中严重受限于客户端之间的异构性，导致收敛不稳定且收敛速度慢。本文提出了客户端定制化适应（C2A），这是一种基于超网络的新型联邦学习框架，通过条件化客户端信息生成客户端特定的适配器。凭借超网络在通过学习来适应输入不同特征方面的能力，C2A 能够最大化共享模型参数的效用，同时最小化由客户端异构性引起的差异。为验证 C2A 的有效性，我们在涉及标签和语言分布异构性的联邦学习场景中进行了广泛评估。综合评估结果明确支持了 C2A 在联邦学习场景下的效率和效果优势。
引用
@article{arxiv.2411.00311,
title = {C2A: Client-Customized Adaptation for Parameter-Efficient Federated Learning},
author = {Yeachan Kim and Junho Kim and Wing-Lam Mok and Jun-Hyung Park and SangKeun Lee},
journal= {arXiv preprint arXiv:2411.00311},
year = {2024}
}
备注
Published at Findings of ACL 2023