SemEval在评估什么？NLP评估活动的系统分析
计算与语言
2022-08-19 v1 人工智能
摘要
SemEval是NLP社区中提出新挑战以及对NLP系统进行系统经验评估的主要场所。本文对SemEval进行了系统的定量分析，旨在揭示SemEval背后贡献的规律。通过理解任务类型、指标、架构、参与度和引用量随时间的分布，我们旨在回答SemEval究竟在评估什么这一问题。
引用
@article{arxiv.2005.14299,
title = {What is SemEval evaluating? A Systematic Analysis of Evaluation Campaigns in NLP},
author = {Oskar Wysocki and Malina Florea and Andre Freitas},
journal= {arXiv preprint arXiv:2005.14299},
year = {2022}
}
备注
12 pages, 6 figures