驯服预训练Transformer用于极端多标签文本分类
机器学习
2020-06-25 v4 人工智能
信息检索
机器学习
摘要
我们考虑极端多标签文本分类（XMC）问题：给定输入文本，从大规模标签集合中返回最相关的标签。例如，输入文本可以是Amazon.com上的产品描述，标签可以是产品类别。XMC是NLP社区中一个重要且具有挑战性的问题。近来，深度预训练Transformer模型在许多NLP任务（包括句子分类）上取得了最先进的性能，尽管标签集较小。然而，由于巨大的输出空间和标签稀疏性问题，将深度Transformer模型朴素地应用于XMC问题会导致次优性能。本文中，我们提出X-Transformer，这是首个用于微调深度Transformer模型以解决XMC问题的可扩展方法。所提方法在四个XMC基准数据集上取得了新的最先进结果。特别是在一个约有50万标签的Wiki数据集上，X-Transformer的prec@1为77.28%，相较最先进的XMC方法Parabel（线性）和AttentionXML（神经）分别取得的68.70%和76.95%的precision@1有显著提升。我们进一步将X-Transformer应用于Amazon的产品到查询（product2query）数据集，并在prec@1上相较Parabel取得10.7%的相对提升。
引用
@article{arxiv.1905.02331,
title = {Taming Pretrained Transformers for Extreme Multi-label Text Classification},
author = {Wei-Cheng Chang and Hsiang-Fu Yu and Kai Zhong and Yiming Yang and Inderjit Dhillon},
journal= {arXiv preprint arXiv:1905.02331},
year = {2020}
}
备注
KDD 2020 Applied Data Track