一模型识万物：来自不同标签集 NER 模型的边缘蒸馏
计算与语言
2020-04-20 v2
摘要
命名实体识别（NER）是现代语言理解流程中的基础组件。许多领域都有公开的 NER 资源，如标注数据和模型服务。然而，对于给定的特定下游应用，往往没有单一的 NER 资源支持所有所需的实体类型，因此用户必须利用具有不同标签集的多个资源。本文提出一种边缘蒸馏（MARDI）方法，用于从具有不相交或异构标签集的资源中训练统一的 NER 模型。与近期工作不同，MARDI 仅需访问预训练模型而非原始训练数据集。这种灵活性使其更易于处理医疗和金融等敏感领域。此外，我们的方法具有足够的通用性，可与不同的 NER 架构集成，包括局部模型（如 BiLSTM）和全局模型（如 CRF）。在两个基准数据集上的实验表明，MARDI 与强大的边缘 CRF 基线性能相当，同时在所需 NER 资源的形式上更为灵活。MARDI 还在渐进式 NER 任务上确立了新的最优性能（state of the art）。MARDI 在渐进式 NER 任务上显著优于当前最优模型（start-of-the-art model）。
引用
@article{arxiv.2004.05140,
title = {One Model to Recognize Them All: Marginal Distillation from NER Models with Different Tag Sets},
author = {Keunwoo Peter Yu and Yi Yang},
journal= {arXiv preprint arXiv:2004.05140},
year = {2020}
}
备注
9 pages, LaTeX; column header of Table 2 corrected