T-NER：一个面向基于 Transformer 的命名实体识别的全方位 Python 库
计算与语言
2022-09-27 v1 机器学习
摘要
语言模型（LM）预训练在许多 NLP 下游任务（包括命名实体识别（NER））中带来了持续的改进。本文中，我们提出 T-NER（基于 Transformer 的命名实体识别），一个用于 NER LM 微调的 Python 库。除其实用性外，T-NER 有助于研究和考察在 NER 上微调的 LM 的跨域与跨语言泛化能力。我们的库还提供了一个 Web 应用，用户可针对任意文本交互式地获取模型预测，便于非专业程序员进行定性模型评估。我们通过将九个公开 NER 数据集编译为统一格式并评估跨域与跨语言性能，展示了该库的潜力。初始实验结果表明，域内性能在各数据集间总体具有竞争力。然而，即便使用大型预训练 LM，跨域泛化仍具挑战性，但若在合并数据集上微调，该 LM 仍具备学习特定领域特征的能力。为促进未来研究，我们也通过 Hugging Face model hub 发布了所有 LM 检查点。
引用
@article{arxiv.2209.12616,
title = {T-NER: An All-Round Python Library for Transformer-based Named Entity Recognition},
author = {Asahi Ushio and Jose Camacho-Collados},
journal= {arXiv preprint arXiv:2209.12616},
year = {2022}
}
备注
Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2021): System Demonstrations