面向细粒度情感分类的语言表示模型
计算与语言
2020-05-29 v1
摘要
情感分类是一个快速发展的研究领域，几乎在任何领域都有应用。尽管各种模型和数据集在二分类任务上已展现出高准确率，细粒度情感分类任务仍有较大改进空间。分析SST-5数据集时，Munikar等人（2019）的先前工作表明，嵌入工具BERT使简单模型达到了最先进的准确率。自该论文发表以来，已有若干BERT的替代模型发布，其中三个主要模型为AlBERT（Lan等人，2019）、DistilBERT（Sanh等人，2019）和RoBERTa（Liu等人，2019）。虽然这些模型在流行基准GLUE、SQuAD和RACE上报告了相对于BERT的一些改进，但它们尚未应用于细粒度分类任务。在本文中，我们通过复现Munikar等人的BERT模型，并将嵌入层替换为这些替代模型，来检验当应用于新任务时这些改进是否依然成立。在实验中，我们发现AlBERT的准确率损失明显大于其在其他任务上报告的损失，DistilBERT的准确率损失与其在其他任务上报告的损失相近且是训练最快的模型，而RoBERTa在SST-5根级别预测上达到了新的最先进准确率（60.2%）。
引用
@article{arxiv.2005.13619,
title = {Language Representation Models for Fine-Grained Sentiment Classification},
author = {Brian Cheang and Bailey Wei and David Kogan and Howey Qiu and Masud Ahmed},
journal= {arXiv preprint arXiv:2005.13619},
year = {2020}
}