基于Fisher信息的高效课程化联邦学习
机器学习
2024-10-21 v2 人工智能
计算与语言
分布式、并行与集群计算
摘要
作为一种通过去中心化数据协同训练模型的有前景的范式，联邦学习（FL）可用于微调大型语言模型（LLM）。尽管LLM规模巨大，但训练数据的规模显著增加，导致巨大的计算和通信成本。训练数据通常是非独立同分布（non-IID）的，这需要在每个设备内进行自适应数据处理。虽然低秩适应（LoRA）可以显著减少微调过程中要更新的参数规模，但仍需要不可接受的时间来传输LLM中所有层的低秩参数。本文提出了一种基于Fisher信息的高效课程化联邦学习框架（FibecFed），包含两种新方法，即自适应联邦课程学习和高效稀疏参数更新。首先，我们提出了一种基于Fisher信息的方法来自适应地在每个设备内对数据进行抽样，以提高FL微调过程的有效性。其次，我们动态选择适当的层进行全局聚合，并对LoRA的稀疏参数进行本地更新，以提高FL微调过程的效率。基于10个数据集的大量实验结果表明，FibecFed在性能（最高可达45.35%准确率）和精细调整速度（最高可达98.61%更快）方面均表现出色，优于17种基线方法。
引用
@article{arxiv.2410.00131,
title = {Fisher Information-based Efficient Curriculum Federated Learning with Large Language Models},
author = {Ji Liu and Jiaxiang Ren and Ruoming Jin and Zijie Zhang and Yang Zhou and Patrick Valduriez and Dejing Dou},
journal= {arXiv preprint arXiv:2410.00131},
year = {2024}
}
备注
27 pages, 8 figures, 14 tables, to appear in EMNLP 2024