一种新颖的提示微调方法：将场景特定概念融入言语化器
计算与语言
2024-07-16 v1 人工智能
摘要
言语化器（verbalizer）负责将标签词映射到类别标签，是提示微调中的一个关键组成部分。在本文中，我们提出了一种构建言语化器的新方法。现有的言语化器构建方法主要依赖于基于类别名称扩充和精炼同义词或相关词集合，这种范式存在视角狭窄和缺乏抽象性的问题，导致标签词空间覆盖有限且偏差较高。为解决这一问题，我们提出了一种融入场景特定概念的标签词构建过程。具体而言，我们从任务特定的场景中提取丰富的概念作为候选标签词，然后开发了一个新颖的级联校准模块，将这些候选词精炼成每个类别的一组标签词。我们通过在五个广泛使用的零样本文本分类数据集上进行大量实验，评估了我们所提方法的有效性。结果表明，我们的方法优于现有方法，并取得了最先进的结果。
引用
@article{arxiv.2401.05204,
title = {A Novel Prompt-tuning Method: Incorporating Scenario-specific Concepts into a Verbalizer},
author = {Yong Ma and Senlin Luo and Yu-Ming Shang and Zhengjun Li and Yong Liu},
journal= {arXiv preprint arXiv:2401.05204},
year = {2024}
}