面向少样本文本分类的标签感知自动 verbalizer
计算与语言
2023-10-20 v1 机器学习
摘要
基于提示的学习已在少样本文本分类中展现出有效性。其成功的一个重要因素是verbalizer，它将语言模型的输出转换为预测类别。值得注意的是，最简单且被广泛认可的verbalizer使用手动标签来表示类别。然而，在给定语言模型的条件下，手动选择无法保证所选词的最优性。因此，我们提出标签感知自动verbalizer（LAAV），有效扩充手动标签以获得更好的少样本分类结果。具体而言，我们使用手动标签与连词“and”来引导模型为verbalizer生成更有效的词。在五种语言、五个数据集上的实验结果表明，LAAV显著优于现有verbalizer。此外，我们的分析显示，与类似方法相比，LAAV提出了更相关的词，尤其是在中低资源语言中。
引用
@article{arxiv.2310.12778,
title = {Label-Aware Automatic Verbalizer for Few-Shot Text Classification},
author = {Thanakorn Thaminkaew and Piyawat Lertvittayakumjorn and Peerapon Vateekul},
journal= {arXiv preprint arXiv:2310.12778},
year = {2023}
}