对比学习在多标签文本分类中的有效部署
计算与语言
2023-07-17 v3
摘要
对比学习技术在自然语言处理任务中的有效性与适用性尚待探索和分析。如何正确合理地构造正样本与负样本是对比学习的核心挑战。在多标签文本分类任务中发现对比对象则更为困难。此前提出的对比损失极少。本文从不同的角度研究该问题，提出了五种面向多标签文本分类任务的新颖对比损失，分别为严格对比损失（SCL）、类内对比损失（ICL）、Jaccard相似度对比损失（JSCL）、Jaccard相似度概率对比损失（JSPCL）和逐步标签对比损失（SLCL）。我们通过采用这些新颖损失来探究对比学习对多标签文本分类任务的有效性，并提供了一组在特定任务上部署对比学习技术的基线模型。我们进一步对方法进行可解释性分析，以展示对比损失的不同组成部分如何发挥作用。实验结果表明，我们提出的对比损失能够为多标签文本分类任务带来提升。我们的工作也探讨了对比学习应如何适配于多标签文本分类任务。
引用
@article{arxiv.2212.00552,
title = {An Effective Deployment of Contrastive Learning in Multi-label Text Classification},
author = {Nankai Lin and Guanqiu Qin and Jigang Wang and Aimin Yang and Dong Zhou},
journal= {arXiv preprint arXiv:2212.00552},
year = {2023}
}
备注
Accepted by ACL-Findings 2023, 13 pages