Flan 数据集集：面向高效指令微调的数据与方法设计
人工智能
2023-02-15 v2 计算与语言
机器学习
摘要
我们研究了公开可用指令微调方法的设计决策，并梳理了 Flan 2022（Chung 等人，2022）的开发过程。通过对 Flan 任务集与方法的仔细消融研究，我们分离出了使 Flan-T5 在各种评估设置下以 3-17%+ 的优势超越先前工作的设计决策效应。我们发现任务平衡与增强技术被忽视但对有效指令微调至关重要，特别是，以混合提示设置（零样本、少样本和思维链）进行训练实际上在所有设置下都产生了更强（2%+）的性能。在进一步的实验中，我们展示 Flan-T5 在单一下游任务上比 T5 需要更少的微调即可更高更快收敛，这激励将指令微调模型作为新任务更具计算效率的起始检查点。最后，为加速指令微调研究，我们在 https://github.com/google-research/FLAN/tree/main/flan/v2 公开了 Flan 2022 的数据集、模板与方法集合。
引用
@article{arxiv.2301.13688,
title = {The Flan Collection: Designing Data and Methods for Effective Instruction Tuning},
author = {Shayne Longpre and Le Hou and Tu Vu and Albert Webson and Hyung Won Chung and Yi Tay and Denny Zhou and Quoc V. Le and Barret Zoph and Jason Wei and Adam Roberts},
journal= {arXiv preprint arXiv:2301.13688},
year = {2023}
}