基于标签模板的对比学习少样本文本分类
计算与语言
2024-12-16 v1 人工智能
摘要
作为一种学习如何学习的算法框架，元学习为少样本文本分类提供了可行方案。然而，大多数现有研究未足够关注类别标签。传统基于原型网络构建的基本框架元学习器高度依赖类别间差异，易受噪声影响。为此，我们提出一种简单且有效的少样本文本分类框架。具体而言，将相应的标签模板嵌入输入句子中，以充分利用类别标签的潜在价值，引导预训练模型通过标签传递的语义信息生成更具辨识力的文本表征。随着标签语义的持续影响，我们利用监督对比学习来建模支持样本与查询样本之间的相互信息。此外，替换了平均池化机制，采用注意力机制以突出关键语义信息。为验证所提方案，我们采用四个典型数据集评估不同方法的性能。实验结果表明，我们的方法在少样本文本分类任务上实现了显著性能提升，超越了现有最先进模型。
引用
@article{arxiv.2412.10110,
title = {Label-template based Few-Shot Text Classification with Contrastive Learning},
author = {Guanghua Hou and Shuhui Cao and Deqiang Ouyang and Ning Wang},
journal= {arXiv preprint arXiv:2412.10110},
year = {2024}
}