众包工作者与NLP工具在政治推文命名实体识别与情感分析上的性能比较
计算与语言
2020-08-13 v2 机器学习
社会与信息网络
摘要
我们报告了众包工作者与七种自然语言处理（NLP）工具包在解决两项重要NLP任务——命名实体识别（NER）与实体级情感（ELS）分析——上的准确率比较结果。此处我们聚焦于一个具有挑战性的数据集：2016年2月美国总统初选期间收集的1000条政治推文。每条推文至少提及四位总统候选人之一，即四个命名实体。由政治传播领域专家建立的基准真值包含推文中提及每位候选人的实体级情感信息。我们测试了若干商业与开源工具。实验表明，对于我们这组政治推文数据，最准确的NER系统Google Cloud NL表现几乎与众包工作者持平，但最准确的ELS分析系统TensiStrength的准确率与众包工作者相差甚远，差距超过30个百分点。
引用
@article{arxiv.2002.04181,
title = {Performance Comparison of Crowdworkers and NLP Tools on Named-Entity Recognition and Sentiment Analysis of Political Tweets},
author = {Mona Jalal and Kate K. Mays and Lei Guo and Margrit Betke},
journal= {arXiv preprint arXiv:2002.04181},
year = {2020}
}
备注
4 pages, 1 figure, Accepted at WiNLP Workshop at NAACL 2018