PySBD：实用句子边界消歧
计算与语言
2020-10-20 v1 人工智能
摘要
在本文中，我们提出了一个基于规则的句子边界消歧 Python 包，可开箱即用于 22 种语言。我们旨在提供一个实用的分句器，即使输入文本的格式和领域未知，也能提供合乎逻辑的句子。在我们的工作中，我们改编了最初作为 ruby gem 实现的 pragmatic_segmenter 的黄金规则集（一组特定语言的句子边界示例），将其移植到 Python 并增加了改进与功能。PySBD 通过了英语黄金规则集示例的 97.92%，比次优的开源 Python 工具提高了 25%。
引用
@article{arxiv.2010.09657,
title = {PySBD: Pragmatic Sentence Boundary Disambiguation},
author = {Nipun Sadvilkar and Mark Neumann},
journal= {arXiv preprint arXiv:2010.09657},
year = {2020}
}
备注
'PySBD: Pragmatic Sentence Boundary Disambiguation' is a short paper (5 Pages with references) accepted into 2nd Workshop for Natural Language Processing Open Source Software (NLP-OSS) at EMNLP 2020 happening on 19 Nov 2020