基于参数高效提示调优与自适应优化的大语言模型联邦学习
机器学习
2024-02-13 v3 计算与语言
分布式、并行与集群计算
摘要
联邦学习（FL）是一种有前景的范式，能够实现基于去中心化数据的协作模型训练。然而，大语言模型（LLMs）的训练过程通常需要更新大量参数，这限制了FL技术在实际场景中处理LLMs的适用性。提示调优可显著减少需更新的参数数量，但要么导致性能下降，要么训练效率低下。在FL中直接利用提示调优往往带来不小的通信开销并急剧降低性能。此外，去中心化数据通常是非独立同分布（non-IID）的，这带来了客户端漂移问题并进而导致性能不佳。本文提出一种带自适应优化的参数高效提示调优方法，即FedPepTAO，以实现高效且有效的LLMs联邦学习。首先，提出一种高效的部分提示调优方法，同时提升性能与效率。其次，开发一种新颖的自适应优化方法，在设备端与服务器端解决客户端漂移问题，以进一步提升性能。基于10个数据集的广泛实验表明，与9种基线方法相比，FedPepTAO具有卓越的性能（准确率最高达60.8%）和效率（训练时间最高节省97.59%）。我们的代码可在 https://github.com/llm-eff/FedPepTAO 获取。
引用
@article{arxiv.2310.15080,
title = {Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization},
author = {Tianshi Che and Ji Liu and Yang Zhou and Jiaxiang Ren and Jiwen Zhou and Victor S. Sheng and Huaiyu Dai and Dejing Dou},
journal= {arXiv preprint arXiv:2310.15080},
year = {2024}
}
备注
18 pages, accepted by EMNLP 2023