预训练、提示与预测：自然语言处理中提示方法的系统性综述

本文综述并整理了自然语言处理中一种新范式的研究工作，我们称之为“基于提示的学习（prompt-based learning）”。不同于训练模型接收输入x并预测输出y为P(y|x)的传统监督学习，基于提示的学习基于直接对文本概率建模的语言模型。为使用这些模型执行预测任务，原始输入x通过模板被修改为带有若干未填槽位的文本串提示x'，然后利用语言模型概率性地填充未填信息得到最终串x，并从中导出最终输出y。该框架强大且吸引人，原因有若干：它允许语言模型在大量原始文本上预训练，并且通过定义新的提示函数，模型能够执行少样本甚至零样本学习，以极少或无标注数据适应新场景。本文介绍这一有前景范式的基础，描述一套可涵盖广泛现有工作的统一数学记号，并沿若干维度（例如预训练模型、提示和调优策略的选择）组织现有工作。为使该领域对感兴趣初学者更可及，我们不仅对现有工作做了系统性回顾并给出高度结构化的基于提示的概念类型学，还发布了其他资源，例如一个网站 http://pretrain.nlpedia.ai/ 包含持续更新的综述与论文列表。