CLLD：用于文本分类的带标签距离对比学习
机器学习
2022-01-07 v3 人工智能
摘要
已有的预训练模型在各种文本分类任务上取得了最先进的性能。这些模型已被证明在学习通用语言表示方面十分有效。然而，相似文本之间的语义差异无法被先进的预训练模型有效区分，这对难以区分的类别的性能有很大影响。为解决该问题，我们在本工作中提出一种新颖的带标签距离对比学习(CLLD)。受近期对比学习进展的启发，我们专门设计了一种带标签距离的分类方法以学习对比类别。CLLD 在导致不同标签分配的细微差异中保证了灵活性，并同时为具有相似性的每个类别生成可区分的表示。在公开基准和内部数据集上的大量实验表明，我们的方法提升了预训练模型在分类任务上的性能。重要的是，我们的实验表明所学得的标签距离缓解了类间的对抗性。
引用
@article{arxiv.2110.13656,
title = {CLLD: Contrastive Learning with Label Distance for Text Classification},
author = {Jinhe Lan and Qingyuan Zhan and Chenhao Jiang and Kunping Yuan and Desheng Wang},
journal= {arXiv preprint arXiv:2110.13656},
year = {2022}
}