基于大型预训练语言模型的实用文本分类
计算与语言
2018-12-05 v1
摘要
多情感情感分类是一种自然语言处理（NLP）问题，在真实世界数据上有着有价值的应用场景。我们证明，大规模无监督语言建模结合微调，为困难数据集（包括具有标签类别不平衡和领域特定上下文的数据集）上的该任务提供了一种实用解决方案。通过在 40GB 文本（Amazon 评论）（McAuley 等人 2015）上训练基于注意力的 Transformer 网络（Vaswani 等人 2017），并在训练集上微调，我们的模型在 SemEval Task 1:E-c 多维情感分类问题（Mohammad 等人 2018）上取得了 0.69 的 F1 分数，该问题基于 Plutchik 情感轮（Plutchik 1979）。这些结果与最先进（state of the art）模型具有竞争力，包括在困难（情感）类别如恐惧（Fear，0.73）、厌恶（Disgust，0.77）和愤怒（Anger，0.78）上的强劲 F1 分数，以及在稀有类别如预期（Anticipation，0.42）和惊讶（Surprise，0.37）上的竞争性结果。此外，我们在一个真实世界文本分类任务上展示了我们的应用。我们创建了一个针对若干话题的真实推文的窄采集文本数据集，并表明我们的微调模型在该数据集上显著优于用于情感和多维情感分类的通用商业可用 API。我们还进行了多种额外研究，考察用于实现实用多维情感分类的深度学习架构、数据集和算法的性质。总体而言，我们发现无监督语言建模与微调是在真实世界情感分类上取得高质量结果的简单框架。
引用
@article{arxiv.1812.01207,
title = {Practical Text Classification With Large Pre-Trained Language Models},
author = {Neel Kant and Raul Puri and Nikolai Yakovenko and Bryan Catanzaro},
journal= {arXiv preprint arXiv:1812.01207},
year = {2018}
}
备注
8 pages, submitted to AAAI 2019