基于提示的少样本文本分类的演化动词化器搜索
计算与语言
2023-06-21 v1
摘要
少样本文本分类的近期进展旨在将文本输入包装为特定任务的提示以构成完形填空问题，通过掩码语言模型处理以预测掩码词，并使用动词化器构建预测词与目标标签之间的映射。这种使用预训练语言模型的方法称为基于提示的微调，在低数据场景下可显著优于传统的微调方法。作为基于提示的微调的核心，动词化器通常靠人工构建或通过梯度下降次优搜索。本文关注自动构建最优动词化器，提出一种新颖的演化动词化器搜索(EVS)算法，以高性能动词化器改进基于提示的微调。具体而言，受演化算法(EA)启发，我们利用其在演化过程中自动演化多种动词化器，并经若干迭代后选出最佳者。在五个文本分类数据集上的大量少样本实验显示了本方法的有效性。
引用
@article{arxiv.2306.10514,
title = {Evolutionary Verbalizer Search for Prompt-based Few Shot Text Classification},
author = {Tongtao Ling and Lei Chen and Yutao Lai and Hai-Lin Liu},
journal= {arXiv preprint arXiv:2306.10514},
year = {2023}
}
备注
12 pages, accepted by KSEM 2023