FedPT：资源受限边缘设备上大型语言模型的联邦代理微调
计算与语言
2024-10-02 v1 人工智能
摘要
尽管预训练的大型语言模型（LM）在各种语言任务中展现出卓越的性能，但它们通常需要在特定数据集上进行微调，才能有效处理不同的下游任务。然而，为下游任务微调这些LM需要收集个人数据，这引发了重大的隐私问题。联邦学习（FL）已成为事实上的解决方案，它能够在无需共享原始数据的情况下进行协作模型训练。尽管前景广阔，但大型LM的联邦微调面临着重大挑战，包括对模型参数的访问受限以及高昂的计算、通信和内存开销。为了解决这些挑战，本文引入了联邦代理微调（FedPT），一种用于黑盒大型LM联邦微调的新颖框架，该框架仅需访问其在输出词汇表上的预测，而非其参数。具体来说，FedPT中的设备首先协作微调一个较小的LM，然后服务器将微调后的小型LM学到的知识与较大的预训练LM学到的知识相结合，构建一个大型代理微调LM，其性能可达到直接微调的大型LM的水平。实验结果表明，与直接对大型LM进行联邦微调相比，FedPT可以显著降低计算、通信和内存开销，同时保持有竞争力的性能。FedPT为在资源受限设备上高效、保护隐私地微调大型LM提供了一种有前景的解决方案，拓宽了最先进大型LM的可访问性和适用性。
引用
@article{arxiv.2410.00362,
title = {FedPT: Federated Proxy-Tuning of Large Language Models on Resource-Constrained Edge Devices},
author = {Zhidong Gao and Yu Zhang and Zhenxiao Zhang and Yanmin Gong and Yuanxiong Guo},
journal= {arXiv preprint arXiv:2410.00362},
year = {2024}
}
备注
29 pages, 19 figures