通过提示与标签检索增强句子编码器以实现零样本文本分类
计算与语言
2023-05-22 v2
摘要
通过对比预训练，句子编码器通常被优化以在其嵌入空间中将语义相似的样本定位得更近。在这项工作中，我们关注其嵌入空间可被直接适配于零样本文本分类的潜力，因为语义上不同的样本已经被很好地分开了。我们的框架RaLP（用于句子编码器的检索增强标签提示），使用句子编码器对提示的标签候选进行编码，然后分配其提示嵌入与输入文本嵌入相似度最高的标签。为了弥补原始格式中可能描述性较差的标签，RaLP从外部语料库中检索与原始标签提示语义相似的句子，并将其作为额外的伪标签提示。在零样本设置下，RaLP在各种闭集分类和多选题QA数据集上取得了与更大基线相当或更强的性能。我们表明，检索组件在RaLP的成功中发挥了关键作用，并且无论verbalizer如何变化，其结果都能稳健获得。
引用
@article{arxiv.2212.10391,
title = {Empowering Sentence Encoders with Prompting and Label Retrieval for Zero-shot Text Classification},
author = {Jimin Hong and Jungsoo Park and Daeyoung Kim and Seongjae Choi and Bokyung Son and Jaewook Kang},
journal= {arXiv preprint arXiv:2212.10391},
year = {2023}
}
备注
9 pages, 4 figures