通过基于数据集与提示集合的元调优使语言模型适应零样本学习
计算与语言
2021-09-09 v5 人工智能
摘要
诸如 GPT-3 等大型预训练语言模型（LMs）已获得令人惊讶的零样本学习能力。例如，要在无任何训练样本的情况下分类情感，我们可以用评论与标签描述“用户喜欢这部电影吗？”来“提示”该 LM，并询问下一个词是“yes”还是“no”。然而，下一词预测训练目标仍与目标零样本学习目标不一致。为应对这一弱点，我们提出元调优（meta-tuning），其通过在数据集集合上微调预训练语言模型来直接优化零样本学习目标。我们关注分类任务，并通过聚合 43 个现有数据集并以问答（QA）格式标注 441 个标签描述来构建元数据集。在未见任务上评估时，元调优模型优于同规模的 QA 模型与先前基于自然语言推理的 SOTA 零样本学习系统。此外，将参数量从 220M 增加到 770M 使 AUC-ROC 分数提升 6.3%，我们预测更大模型会表现更好。因此，对语言模型开箱即用地度量零样本学习性能可能低估其真实潜力，而社区范围内聚合数据集并统一其格式的努力可有助于构建能更好回答提示的模型。
引用
@article{arxiv.2104.04670,
title = {Adapting Language Models for Zero-shot Learning by Meta-tuning on Dataset and Prompt Collections},
author = {Ruiqi Zhong and Kristy Lee and Zheng Zhang and Dan Klein},
journal= {arXiv preprint arXiv:2104.04670},
year = {2021}
}
备注
EMNLP 2021, Findings