Dynosaur：一种用于指令微调数据整理的动态调整范式
计算与语言
2023-10-27 v2 人工智能
摘要
指令微调已崭露头角，用以增强大语言模型（LLMs）理解指令并生成恰当响应的能力。现有方法或人工标注，或采用 LLM（如 GPT 系列）生成指令微调数据。然而，它们常忽视将指令与已有标注数据集相关联。本文提出 Dynosaur，一种用于自动整理指令微调数据的动态增长范式。基于现有数据集的元数据，我们利用 LLM 通过识别相关数据字段并生成恰当指令，自动构建指令微调数据。借助已有标注数据集，Dynosaur 具备多项优势：1）降低生成指令的 API 成本（例如，调用 GPT-3.5-turbo 生成 80 万条指令微调样本花费低于 12 美元）；2）为指令微调提供高质量数据（例如，在数据量相当时，其在 Super-NI 与 Longform 上优于 Alpaca 和 Flan）；3）当新的标注数据集可用时，通过生成指令微调数据支持模型的持续提升。我们进一步研究了一种持续学习方案，用于在不断增长的指令微调数据集上学习，并证明以多样化指令嵌入重放任务不仅有助于缓解遗忘问题，还能更好地泛化至未见过任务。代码与数据见 https://github.com/WadeYin9712/Dynosaur。
引用
@article{arxiv.2305.14327,
title = {Dynosaur: A Dynamic Growth Paradigm for Instruction-Tuning Data Curation},
author = {Da Yin and Xiao Liu and Fan Yin and Ming Zhong and Hritik Bansal and Jiawei Han and Kai-Wei Chang},
journal= {arXiv preprint arXiv:2305.14327},
year = {2023}
}
备注
EMNLP 2023. Code and data are available at https://github.com/WadeYin9712/Dynosaur