部分类型NER数据集的整合：从实践到理论的连接
机器学习
2020-05-04 v1 计算与语言
机器学习
摘要
虽然典型的命名实体识别（NER）模型要求训练集以所有目标类型进行标注，但每个可用数据集可能仅覆盖其中一部分。许多研究致力于利用多个部分类型的数据集进行训练，并使所得模型覆盖完整类型集，而非依赖完全类型化的 NER 数据集。然而，目前既无对整合数据集质量的保证，也无训练算法设计的指导。在此，我们从理论与实证两方面对部分类型 NER 数据集与完全类型数据集进行系统分析与比较。首先，我们推导出一个界，证明以部分类型标注训练的模型可达到与以完全类型标注训练的模型相近的性能，这也为算法设计提供了指导。此外，我们进行了受控实验，表明部分类型数据集与以同等数量完全类型标注训练的模型性能相近。
引用
@article{arxiv.2005.00502,
title = {Partially-Typed NER Datasets Integration: Connecting Practice to Theory},
author = {Shi Zhi and Liyuan Liu and Yu Zhang and Shiyin Wang and Qi Li and Chao Zhang and Jiawei Han},
journal= {arXiv preprint arXiv:2005.00502},
year = {2020}
}
备注
Work in progress