GradualDiff-Fed：面向大语言模型的渐进式差分联邦学习框架
机器学习
2025-06-25 v1 分布式、并行与集群计算
摘要
大语言模型 (LLM) 的快速普及造就了对为特定领域（如医学科学）微调模型的巨大需求。虽然联邦学习 (FL) 提供了一种在不共享原始数据的情况下进行去中心化协作微调 LLM 的方法，但在性能和高效管理大模型规模方面存在诸多挑战。本文引入 GradualDiff-Fed，一个专为 LLM 设计的 FL 框架及其大参数规模的挑战。GradualDiff-Fed 通过传输模型权重的差分而非整个模型来减少训练轮次中的通信成本。这种方法显著提高了可扩展性和通信效率，使其能够在不牺牲性能的前提下跨分布式客户端对 LLM 进行微调。我们的评估表明，GradualDiff-Fed 在保持与集中训练相当性能的同时，大幅减少了通信开销。这一结果凸显了 GradualDiff-Fed 作为在隐私保护环境下对分布式数据进行大规模模型微调的高效解决方案的潜力。
引用
@article{arxiv.2506.19164,
title = {GradualDiff-Fed: A Federated Learning Specialized Framework for Large Language Model},
author = {Amir Faiyaz and Tara Salman},
journal= {arXiv preprint arXiv:2506.19164},
year = {2025}
}