作为基于提示少样本文本分类中语义一致性打分器的判别语言模型
计算与语言
2022-10-25 v1 人工智能
机器学习
摘要
本文提出一种新颖的基于提示的微调方法（称为 DLM-SCS），用于少样本文本分类，其利用预训练用于区分词元为原始还是生成的判别语言模型 ELECTRA。其基本思想是，以真实标签实例化的提示应比其他以错误标签的提示具有更高的语义一致性分数。由于提示通常由若干组件（或部分）构成，其语义一致性可相应分解。随后，每个组件的语义一致性通过利用预训练的 ELECTRA 模型计算，无需引入额外参数。大量实验表明，我们的模型优于多种最先进（SOTA）的基于提示的少样本方法。
引用
@article{arxiv.2210.12763,
title = {Discriminative Language Model as Semantic Consistency Scorer for Prompt-based Few-Shot Text Classification},
author = {Zhipeng Xie and Yahe Li},
journal= {arXiv preprint arXiv:2210.12763},
year = {2022}
}
备注
21 pages, 3 figures