基于大语言模型的低参数联邦学习
分布式、并行与集群计算
2023-07-27 v1
摘要
我们研究联邦学习（FL）场景下大语言模型（LLM）的少样本自然语言理解（NLU）任务。由于FL中标记数据有限且通信能力受限，尤其在移动设备上，这是一项具有挑战性的任务。近期研究表明，LLM可通过提示执行少样本NLU任务，如情感分析与算术推理。然而，LLM的庞大尺寸导致高计算与通信成本，使经典FL方案不切实际。为应对这些挑战，我们提出低参数联邦学习（LP-FL）。LP-FL将LLM的少样本提示学习与高效通信及联邦技术相结合。我们的方法使联邦客户端能够利用从全局模型逐步学到的知识为未标记数据分配软标签。通过迭代软标签分配，我们在FL过程中持续扩展标记集。此外，为降低计算与通信成本，LP-FL利用低秩适应（LoRA）技术构建紧凑可学习参数、进行高效本地模型微调以及可承受的全局模型联邦。在各种FL设置下的情感分析任务中，LP-FL始终优于全参数联邦学习（FP-FL）。其抗过拟合能力使LP-FL在少样本场景中持平或超越集中式训练。
引用
@article{arxiv.2307.13896,
title = {Low-Parameter Federated Learning with Large Language Models},
author = {Jingang Jiang and Xiangyang Liu and Chenyou Fan},
journal= {arXiv preprint arXiv:2307.13896},
year = {2023}
}