我们到了吗？以 EUPEG 为基准平台评估基于神经网络的先进地理解析器
计算与语言
2020-07-16 v1 人工智能
机器学习
摘要
地理解析是地理信息检索中的一项重要任务。地理解析系统（称为地理解析器）以文本为输入，输出识别出的地名提及及其位置坐标。2019 年 6 月，作为 SemEval 2019 任务之一举办了地名解析于科学论文中的竞赛。获胜团队开发了基于神经网络的地理解析器，取得了出色性能（地名识别的精确率、召回率和 F1 分数均超 90%）。这一令人振奋的结果带来了“我们到了吗？”的问题，即我们是否已取得足够高的性能从而可将地理解析问题视为已解决？该竞赛的一个局限是所开发的地理解析器仅在一个数据集上测试，该集含 45 篇取自生物医学特定领域的科研文章。已知同一地理解析器在不同数据集上性能差异很大。因此，本工作使用我们近期开发的基准平台 EUPEG（含八个标注数据集、九个基线地理解析器和八项性能指标）对这些最先进的地理解析器进行系统评估。评估结果表明，这些新地理解析器确实在多个数据集上提升了地理解析性能，尽管仍存在一些挑战。
引用
@article{arxiv.2007.07455,
title = {Are We There Yet? Evaluating State-of-the-Art Neural Network based Geoparsers Using EUPEG as a Benchmarking Platform},
author = {Jimin Wang and Yingjie Hu},
journal= {arXiv preprint arXiv:2007.07455},
year = {2020}
}