从预训练语言模型中引出知识用于原型提示动词化器
计算与语言
2022-01-17 v1
摘要
提示微调（prompt-tuning）近期进展将少样本分类任务转化为掩码语言建模问题。通过将输入包装为模板并使用动词化器（verbalizer）构建标签空间与标签词空间之间的映射，提示微调可在零样本与少样本场景下取得优异结果。然而，典型提示微调需要人工设计的动词化器，这依赖领域专业知识与人力；且有限的标签空间可能给结果引入可观偏差。本文聚焦于从预训练语言模型中引出知识，提出一种用于提示微调的原型提示动词化器。标签由特征空间中的原型嵌入表示，而非离散词。输入在掩码位置的嵌入与原型嵌入之间的距离被用作分类准则。对于零样本设置，通过人工设计模板从预训练语言模型中引出知识以形成初始原型嵌入；对于少样本设置，模型被微调以学习有意义且可解释的原型嵌入。我们的方法通过对比学习优化模型。在多个低资源多类文本分类数据集上的大量实验结果，证明了相较其他动词化器构建方法的有效性。实现见 https://github.com/Ydongd/prototypical-prompt-verbalizer。
引用
@article{arxiv.2201.05411,
title = {Eliciting Knowledge from Pretrained Language Models for Prototypical Prompt Verbalizer},
author = {Yinyi Wei and Tong Mo and Yongtao Jiang and Weiping Li and Wen Zhao},
journal= {arXiv preprint arXiv:2201.05411},
year = {2022}
}