几乎从零开始的合成数据：面向语言模型的广义指令微调
计算与语言
2024-02-21 v1
摘要
我们提出了广义指令微调（称为 GLAN），这是一种用于大语言模型（LLM）指令微调的通用且可扩展的方法。与依赖种子样本或现有数据集来构建指令微调数据的先前工作不同，GLAN 仅利用预先策划的人类知识与能力分类体系作为输入，并跨所有学科生成大规模合成指令数据。具体而言，受人类教育系统系统结构的启发，我们在大语言模型的辅助下，通过将人类知识和能力半自动地分解为 various fields、sub-fields 并最终分解为 distinct disciplines 来构建该分类体系。随后，我们为每个学科生成一份全面的主题列表，并再次利用大语言模型为每个主题设计量身定制的教学大纲。凭借教学大纲中每节课详细列出的细粒度关键概念，我们能够生成涵盖整个人类知识和技能谱系的多样化指令。在大语言模型（如 Mistral）上的大量实验表明，GLAN 在数学推理、编程、学术考试、逻辑推理及通用指令遵循等多个维度上表现卓越，且无需使用这些任务的特定任务训练数据。此外，GLAN 允许轻松定制，只需在我们的分类体系中加入一个新节点即可添加新领域或新技能。
引用
@article{arxiv.2402.13064,
title = {Synthetic Data (Almost) from Scratch: Generalized Instruction Tuning for Language Models},
author = {Haoran Li and Qingxiu Dong and Zhengyang Tang and Chaojun Wang and Xingxing Zhang and Haoyang Huang and Shaohan Huang and Xiaolong Huang and Zeqiang Huang and Dongdong Zhang and Yuxian Gu and Xin Cheng and Xun Wang and Si-Qing Chen and Li Dong and Wei Lu and Zhifang Sui and Benyou Wang and Wai Lam and Furu Wei},
journal= {arXiv preprint arXiv:2402.13064},
year = {2024}
}
备注
Work in progress