多任务提示训练实现零样本任务泛化
机器学习
2022-03-18 v3 计算与语言
摘要
大型语言模型近来被证明能在多样化任务上获得合理的零样本泛化能力（Brown 等，2020）。有假设认为这是语言模型预训练中隐式多任务学习的结果（Radford 等，2019）。零样本泛化能否改由显式多任务学习直接诱导？为大规模检验此问题，我们开发了一个系统，可将任意自然语言任务轻松映射为可读的提示形式。我们转换了大量有监督数据集，每个数据集配有多种不同措辞的提示。这些提示数据集使得对模型执行完全留出任务的能力进行基准测试成为可能。我们在覆盖广泛任务的多任务混合上微调了一个预训练的编码器-解码器模型（Raffel 等，2020；Lester 等，2021）。该模型在多个标准数据集上获得了强劲的零样本性能，常超越规模达其 16 倍的模型。此外，我们的方法在 BIG-bench 基准的一个子集上获得了强劲性能，超越规模达其 6 倍的模型。所有训练模型见 https://github.com/bigscience-workshop/t-zero，所有提示见 https://github.com/bigscience-workshop/promptsource。
引用
@article{arxiv.2110.08207,
title = {Multitask Prompted Training Enables Zero-Shot Task Generalization},
author = {Victor Sanh and Albert Webson and Colin Raffel and Stephen H. Bach and Lintang Sutawika and Zaid Alyafeai and Antoine Chaffin and Arnaud Stiegler and Teven Le Scao and Arun Raja and Manan Dey and M Saiful Bari and Canwen Xu and Urmish Thakker and Shanya Sharma Sharma and Eliza Szczechla and Taewoon Kim and Gunjan Chhablani and Nihal Nayak and Debajyoti Datta and Jonathan Chang and Mike Tian-Jian Jiang and Han Wang and Matteo Manica and Sheng Shen and Zheng Xin Yong and Harshit Pandey and Rachel Bawden and Thomas Wang and Trishala Neeraj and Jos Rozen and Abheesht Sharma and Andrea Santilli and Thibault Fevry and Jason Alan Fries and Ryan Teehan and Tali Bers and Stella Biderman and Leo Gao and Thomas Wolf and Alexander M. Rush},
journal= {arXiv preprint arXiv:2110.08207},
year = {2022}
}
备注
ICLR 2022 Spotlight (with extended discussion)