STPrompt：面向高效少样本分类的语义引导与任务驱动提示
计算与语言
2022-11-01 v1 人工智能
摘要
提示学习在不同预训练语言模型中的有效性已得到证明。通过构建合适的模板并选择具代表性的标签映射，提示学习可用作高效的知识探针。然而，在现有方法中寻找合适提示需要对构建合适模板和选择具代表性标签映射进行多次实验尝试或恰当的向量初始化，这在少样本学习任务中更为常见。受预训练语言模型工作过程启发，我们尝试从任务语义视角构建提示，从而提出STPrompt——语义引导与任务驱动的提示模型。具体而言，首先在一个提示增强池中构建由语义依存树（Dep-prompt）和任务特定元数据描述（Meta-prompt）生成的两种新颖提示，所提模型将自动选择合适的语义提示以激励提示学习过程。我们的结果表明，所提模型在少样本文本分类任务的五个不同数据集上取得了最先进的性能，证明了更具语义性和显著性的提示可作为更好的知识探针工具。
引用
@article{arxiv.2210.16489,
title = {STPrompt: Semantic-guided and Task-driven prompts for Effective Few-shot Classification},
author = {Jinta Weng and Yue Hu and Jing Qiu and Heyan Huan},
journal= {arXiv preprint arXiv:2210.16489},
year = {2022}
}