面向联邦指令调优的大语言模型无结构文本数据利用
计算与语言
2024-09-12 v1 人工智能
多智能体系统
摘要
联邦指令调优使多个客户能够在不直接共享原始数据的情况下协同微调共享的大型语言模型(LLM)，使其能够遵循人类的指令。然而，现有文献在操作上要求所有客户都 readily 持有指令调优数据(即结构化指令-响应对)，这需要大量的人工标注，因为客户的数据通常是无结构文本。为此，我们提出了一种新型且灵活的框架FedIT-U2S，可自动将无结构语料库转换为用于联邦指令调优的结构化数据。FedIT-U2S包含两个关键步骤：(1) 少量指令调优数据生成，其中每个无结构数据 piece 以及几个示例组合起来，用于提示LLM生成一条指令-响应对。为进一步提高灵活性，提出了一种基于检索的示例选择技术，其中根据客户数据 piece 与示例池之间的相关性自动选择示例，绕过提前确定示例的需求。(2) 基于生成数据的典型联邦指令调优过程。总体而言，FedIT-U2S可以应用于只要客户持有有价值文本语料库的各种场景，拓宽了联邦指令调优的应用范围。我们在三个领域(医学、知识和数学)上进行一系列实验，表明我们提出的FedIT-U2S能始终且显著地优于基础LLM。
引用
@article{arxiv.2409.07136,
title = {Leveraging Unstructured Text Data for Federated Instruction Tuning of Large Language Models},
author = {Rui Ye and Rui Ge and Yuchi Fengting and Jingyi Chai and Yanfeng Wang and Siheng Chen},
journal= {arXiv preprint arXiv:2409.07136},
year = {2024}
}
备注
11 pages, work in progress