解放已见类别:通过锚点生成与分类重构提升少样本和零样本文本分类
计算机视觉与模式识别
2024-05-07 v1
摘要
少样本和零样本文本分类旨在从有限标注样本或无标注样本中识别新类别的样本。尽管主流方法通过将知识从已见类别迁移到未见类别取得了有希望的性能,但它们仍然受到以下限制:(1) 类别间的固有差异使得从已见类别学到的特征转换到未见类别既困难又低效。(2) 稀有的标注新样本通常无法提供足够的监督信号使模型从源分布调整到目标分布,尤其是在复杂场景中。为了缓解上述问题,我们提出了一种简单有效的少样本和零样本文本分类策略。我们的目标是使模型摆脱已见类别的束缚,从而使其能够预测未见类别,而无需在已见类别上训练。具体地,为了挖掘更多相关的未见类别知识,我们利用大型预训练语言模型生成伪新样本,并选择最具代表性的样本作为类别锚点。之后,我们将多分类任务转换为二分类任务,并使用查询-锚点对的相似度进行预测,以充分利用有限的监督信号。在六个广泛使用的公共数据集上进行的大量实验表明,我们提出的方法在少样本和零样本任务中显著优于其他强基线,即使不使用任何已见类别样本。
引用
@article{arxiv.2405.03565,
title = {Liberating Seen Classes: Boosting Few-Shot and Zero-Shot Text Classification via Anchor Generation and Classification Reframing},
author = {Han Liu and Siyang Zhao and Xiaotong Zhang and Feng Zhang and Wei Wang and Fenglong Ma and Hongyang Chen and Hong Yu and Xianchao Zhang},
journal= {arXiv preprint arXiv:2405.03565},
year = {2024}
}
备注
Accepted to AAAI 2024