知识型提示微调：将知识融入提示动词化器用于文本分类

用特定任务的提示微调预训练语言模型（PLMs）一直是文本分类的一种有前景的方法。特别是，先前的研究表明，在小数据场景下，提示微调相较于带有额外分类器的通用微调方法具有显著优势。提示微调的核心思想是在输入中插入文本片段（即模板），并将分类问题转化为掩码语言建模问题，其中关键步骤是构建标签空间与标签词空间之间的映射（即动词化器）。动词化器通常是手工设计的或通过梯度下降搜索的，这可能缺乏覆盖度并为结果带来相当大的偏差和高方差。在这项工作中，我们专注于将外部知识融入动词化器，形成知识型提示微调（KPT），以改进并稳定提示微调。具体而言，我们使用外部知识库（KBs）扩展动词化器的标签词空间，并在使用扩展的标签词空间进行预测之前，用 PLM 自身对扩展的标签词空间进行精炼。在零样本和少样本文本分类任务上的大量实验证明了知识型提示微调的有效性。