中文

ATR4S:包含最先进自动术语识别方法的Scala工具包

计算与语言 2016-11-24 v1

摘要

自动识别的术语被广泛用于各种特定领域文本处理任务,如机器翻译、信息检索或情感分析。然而,对于哪些方法最适合特定设置目前仍未达成共识,而且对已开发的方法也缺乏可靠的比较。我们认为其中一个主要原因是缺乏最先进方法的实现,而这些方法通常难以重新创建。为了解决这些问题,我们提出了 ATR4S,这是一个用 Scala 编写的开源软件,包含超过15种自动术语识别(ATR)方法,并实现了从文本文档预处理到术语候选收集、术语候选评分,最后到术语候选排序的整个流程。它是一个具有自动缓存支持的高度可扩展、模块化和可配置的工具。我们还在7个开放数据集上通过平均精度和处理时间比较了10种最先进的方法。实验比较表明,没有单一方法在所有数据集上表现出最佳的平均精度,并且其他可用的 ATR 工具不包含最佳方法。

关键词

引用

@article{arxiv.1611.07804,
  title  = {ATR4S: Toolkit with State-of-the-art Automatic Terms Recognition Methods in Scala},
  author = {N. Astrakhantsev},
  journal= {arXiv preprint arXiv:1611.07804},
  year   = {2016}
}