用于零样本任务泛化的提示一致性
计算与语言
2022-12-29 v2 机器学习
摘要
近期 NLP 历史中最令人印象深刻的成果之一，是预训练语言模型在零样本设定下解决新任务的能力。为此，NLP 任务被构建为自然语言提示，生成指示预测输出的响应。尽管如此，此类设定下的性能常远落后于其有监督对应方法，表明存在巨大的潜在改进空间。本文中，我们探索利用无标签数据提升零样本性能的方法。具体地，我们借助多个提示可指定单一任务这一事实，提出正则化提示一致性，鼓励在该多样提示集上预测一致。我们的方法使得模型既可用额外无标签训练数据微调，也可在推理时以无监督方式直接在测试输入上微调。实验中，我们的方法在 4 项 NLP 任务共 11 个数据集中的 9 个上以准确率计绝对提升至多 10.6 点，优于最先进零样本学习器 T0（Sanh 等，2022）。增益常通过少量无标签样本获得。
引用
@article{arxiv.2205.00049,
title = {Prompt Consistency for Zero-Shot Task Generalization},
author = {Chunting Zhou and Junxian He and Xuezhe Ma and Taylor Berg-Kirkpatrick and Graham Neubig},
journal= {arXiv preprint arXiv:2205.00049},
year = {2022}
}
备注
EMNLP 2022 Findings. Code is available at https://github.com/violet-zct/swarm-distillation-zero-shot