CCPrefix:面向多类分类的反事实对比前缀微调
计算与语言
2024-02-14 v2
摘要
近年来,前缀微调被提出用于高效适配预训练语言模型至广泛的自然语言分类任务。它利用软前缀作为任务特定指示符,并利用语言 verbalizer 作为类别标签指代,以缩小与预训练语言模型的表述鸿沟。然而,当标签空间显著增大(即多类分类)时,此类微调技术面临 verbalizer 歧义问题,因为多类标签由语义相近的短语言短语 verbalizer 表示。为此,受人类决策过程中会对每个实例最易混淆的类别反复斟酌的启发,我们提出一种全新的前缀微调方法——反事实对比前缀微调(CCPrefix),用于多类分类。其基本思想是,利用源自标签空间中事实-反事实对的实例依赖软前缀,对多类分类中的语言 verbalizer 进行补充。我们在全监督与少样本设置下的多类基准数据集上开展实验,表明我们的模型优于以往基线。
引用
@article{arxiv.2211.05987,
title = {CCPrefix: Counterfactual Contrastive Prefix-Tuning for Many-Class Classification},
author = {Yang Li and Canran Xu and Guodong Long and Tao Shen and Chongyang Tao and Jing Jiang},
journal= {arXiv preprint arXiv:2211.05987},
year = {2024}
}
备注
has been accepted by EACL 2024