大型语言模型的联邦数据高效指令微调
机器学习
2025-06-30 v2 人工智能
计算与语言
摘要
指令微调是改进预训练大型语言模型（LLM）对人类指令作出响应性的关键步骤。联邦学习（FL）有助于利用来自客户端的广泛私有指令数据，因而在 LLM 微调中变得流行，提高了数据多样性。现有的联邦微调仅简单地消耗所有本地数据，导致计算开销过大且过拟合本地数据；而集中式的数据高效解决方案由于隐私问题不适用于联邦学习。本文提出 FedHDS，即一种联邦数据高效指令微调方法，通过使用边缘侧数据的代表性子集来微调 LLM。在数据层面上旨减少 intra- 和 inter-client 层面的数据冗余，而无需共享原始数据。使用各种 LLM、数据集和分区进行实验，表明 FedHDS 在未见任务上将 Rouge-L 提升了平均 10.72%，而仅使用不到 1.5% 的数据样本，训练效率提升了数十倍。
引用
@article{arxiv.2410.10926,
title = {Federated Data-Efficient Instruction Tuning for Large Language Models},
author = {Zhen Qin and Zhaomin Wu and Bingsheng He and Shuiguang Deng},
journal= {arXiv preprint arXiv:2410.10926},
year = {2025}
}
备注
Accepted to ACL 2025 (Findings)