SentiBench——实践中的情感分析方法的基准比较
计算与语言
2016-07-18 v5 社会与信息网络
摘要
在过去的几年中，数千篇科学论文研究了情感分析，若干基于真实数据衡量观点的初创公司已经出现，并且开发了若干与该主题相关的创新产品。有多种衡量情感的方法，包括基于词典的方法和监督式机器学习方法。尽管对该主题有广泛兴趣且某些方法广受欢迎，但哪种方法更能识别消息的极性（即正面或负面）尚不清楚。因此，强烈需要对情感分析方法进行严格的苹果对苹果的比较，\textit{正如它们在实践中所用}，跨多个源自不同数据源的数据集。这种比较对于理解流行方法的潜在局限性、优势和劣势至关重要。本文旨在通过提出对二十四种流行情感分析方法（我们称之为实践态方法）的基准比较来填补这一空白。我们的评估基于十八个带标签的数据集的基准，涵盖发布在社交网络上的消息、电影和产品的评论，以及新闻文章中的观点和评论。我们的结果突出了这些方法的预测性能在不同数据集上变化相当大的程度。旨在推动该研究区域的发展，我们开放了本文中使用的方法代码和数据集，将它们部署在一个基准系统中，该系统提供用于访问和比较句子级情感分析方法的开放API。
引用
@article{arxiv.1512.01818,
title = {SentiBench - a benchmark comparison of state-of-the-practice sentiment analysis methods},
author = {Filipe Nunes Ribeiro and Matheus Araújo and Pollyanna Gonçalves and Fabrício Benevenuto and Marcos André Gonçalves},
journal= {arXiv preprint arXiv:1512.01818},
year = {2016}
}