微调语言模型是零样本学习者
计算与语言
2022-02-10 v5
摘要
本文探讨一种提升语言模型零样本学习能力的简单方法。我们表明，指令微调——在通过指令描述的一组任务上微调语言模型——可大幅改善在未见任务上的零样本性能。我们取一个 137B 参数的预训练语言模型，并在通过自然语言指令模板表述的超过 60 个 NLP 任务上对其进行指令微调。我们在未见任务类型上评估这一称为 FLAN 的指令微调模型。FLAN 大幅改善其未修改对应模型的性能，并在我们所评估的 25 个任务中的 20 个上超越零样本 175B GPT-3。FLAN 甚至在 ANLI、RTE、BoolQ、AI2-ARC、OpenbookQA 与 StoryCloze 上以大幅优势优于少样本 GPT-3。消融研究揭示，微调数据集的数量、模型规模与自然语言指令是指令微调成功的关键。
引用
@article{arxiv.2109.01652,
title = {Finetuned Language Models Are Zero-Shot Learners},
author = {Jason Wei and Maarten Bosma and Vincent Y. Zhao and Kelvin Guu and Adams Wei Yu and Brian Lester and Nan Du and Andrew M. Dai and Quoc V. Le},
journal= {arXiv preprint arXiv:2109.01652},
year = {2022}
}
备注
Version 5. Find list of changes in Appendix F (page 35)