基于自然语言众包指令的跨任务泛化
计算与语言
2022-03-15 v4 人工智能
计算机视觉与模式识别
机器学习
摘要
人类（例如众包工作者）具有一种非凡的能力，能够通过简单地阅读定义任务的文本指令并查看少量示例来解决不同任务。尽管传统的监督学习在单个数据集上取得了成功，但此类模型往往难以实现跨任务泛化（例如，问答系统无法解决分类任务）。人工智能领域一个长期存在的挑战是构建这样一个模型：它能通过理解定义任务的人类可读指令来学习新任务。为此，我们引入了 NATURAL INSTRUCTIONS，这是一个包含 61 个不同任务、其由人类撰写的指令以及 193k 个任务实例（输入-输出对）的数据集。这些指令取自用于创建现有 NLP 数据集的众包指令，并被映射到一个统一的模式。利用这一元数据集，我们通过训练模型于已见任务并衡量其对剩余未见任务的泛化能力来度量跨任务泛化。我们采用生成式预训练语言模型来编码任务特定指令及输入并生成任务输出。我们的结果表明，当以对未见任务的泛化能力来衡量时，模型从指令中获益（利用指令的模型表现提升 19%）。然而，这些模型远落后于估计的性能上界，表明该方向仍有显著进步空间。
引用
@article{arxiv.2104.08773,
title = {Cross-Task Generalization via Natural Language Crowdsourcing Instructions},
author = {Swaroop Mishra and Daniel Khashabi and Chitta Baral and Hannaneh Hajishirzi},
journal= {arXiv preprint arXiv:2104.08773},
year = {2022}
}
备注
ACL 2022