可复现性、可复制性及其之外：真实场景下方面级情感分析的生产就绪性评估
计算与语言
2021-05-12 v1
摘要
随着在线市场及其用户生成内容的指数级增长，方面级情感分析变得比以往任何时候都更加重要。在这项工作中，我们以从业者的视角，着眼于生产部署，对过去六年发表的代表性模型样本进行了批判性回顾。首先，我们严格的实证评估揭示了较差的可复现性：样本的平均测试准确率下降了 4-5%。其次，为了进一步增强对实证评估的信心，我们在两个具有挑战性的数据切片上报告了实验，并观察到准确率持续下降 12-55%。第三，我们研究了跨领域迁移的可能性，观察到仅使用 10-25% 的特定领域训练数据集，当与同一语言环境下其他领域的数据集结合使用时，基本弥合了完全跨领域与完全领域内预测性能之间的差距。最后，我们开源了来自印度大型电子商务门户的两个大规模标注评论语料库，以帮助研究可复制性和迁移，希望它能推动该领域的进一步发展。
引用
@article{arxiv.2101.09449,
title = {Reproducibility, Replicability and Beyond: Assessing Production Readiness of Aspect Based Sentiment Analysis in the Wild},
author = {Rajdeep Mukherjee and Shreyas Shetty and Subrata Chattopadhyay and Subhadeep Maji and Samik Datta and Pawan Goyal},
journal= {arXiv preprint arXiv:2101.09449},
year = {2021}
}
备注
12 pages, accepted at ECIR 2021