Super-NaturalInstructions：基于声明式指令在 1600 多个 NLP 任务上的泛化
计算与语言
2022-10-25 v3 人工智能
摘要
当提供任务指令时，NLP 模型对多种未见任务的泛化能力如何？为回答这一问题，我们首先引入 Super-NaturalInstructions，一个包含 1616 项多样化 NLP 任务及其专家撰写指令的基准。我们的收集涵盖 76 种不同的任务类型，包括但不限于分类、抽取、填充、序列标注、文本重写和文本组合。这一大规模且多样化的任务集合使得在指令下进行跨任务泛化的严格基准测试成为可能——训练模型在部分任务上遵循指令，并在其余未见任务上评估它们。此外，我们构建了 Tk-Instruct，一个训练用于遵循多种上下文指令（自然语言任务定义或 k-shot 示例）的 transformer 模型。我们的实验表明，尽管 Tk-Instruct 的模型规模小一个数量级，其在我们的基准上比现有的指令遵循模型（如 InstructGPT）高出 9% 以上。我们进一步分析了作为各种缩放参数函数的泛化能力，例如已观察任务数量、每任务实例数和模型大小。我们希望我们的数据集和模型能促进未来朝向更通用 NLP 模型的进展。
引用
@article{arxiv.2204.07705,
title = {Super-NaturalInstructions: Generalization via Declarative Instructions on 1600+ NLP Tasks},
author = {Yizhong Wang and Swaroop Mishra and Pegah Alipoormolabashi and Yeganeh Kordi and Amirreza Mirzaei and Anjana Arunkumar and Arjun Ashok and Arut Selvan Dhanasekaran and Atharva Naik and David Stap and Eshaan Pathak and Giannis Karamanolakis and Haizhi Gary Lai and Ishan Purohit and Ishani Mondal and Jacob Anderson and Kirby Kuznia and Krima Doshi and Maitreya Patel and Kuntal Kumar Pal and Mehrad Moradshahi and Mihir Parmar and Mirali Purohit and Neeraj Varshney and Phani Rohitha Kaza and Pulkit Verma and Ravsehaj Singh Puri and Rushang Karia and Shailaja Keyur Sampat and Savan Doshi and Siddhartha Mishra and Sujan Reddy and Sumanta Patro and Tanay Dixit and Xudong Shen and Chitta Baral and Yejin Choi and Noah A. Smith and Hannaneh Hajishirzi and Daniel Khashabi},
journal= {arXiv preprint arXiv:2204.07705},
year = {2022}
}
备注
Accepted to EMNLP 2022, 25 pages