面向多标签文本分类的标签提示方法
计算与语言
2023-03-16 v2 人工智能
摘要
多标签文本分类的关键问题之一是如何利用标签间的相关性。然而，在复杂且未知的标签空间中直接建模标签间相关性极具挑战。本文受语言模型完形填空问题启发，提出标签掩码多标签文本分类模型（LM-MTC）。LM-MTC 借助预训练语言模型的强大能力捕捉标签间隐式关系。在此基础上，我们为每个潜在标签分配不同 token，并以一定概率随机掩码该 token，构建基于标签的掩码语言模型（MLM）。我们将 MTC 与 MLM 联合训练，进一步提升模型泛化能力。多个数据集上的大量实验证明了方法的有效性。
引用
@article{arxiv.2106.10076,
title = {Label prompt for multi-label text classification},
author = {Rui Song and Xingbing Chen and Zelong Liu and Haining An and Zhiqi Zhang and Xiaoguang Wang and Hao Xu},
journal= {arXiv preprint arXiv:2106.10076},
year = {2023}
}