ProtoNER：基于原型网络的命名实体识别少样本增量学习
计算与语言
2023-10-05 v1 人工智能
摘要
从视觉丰富文档中进行键值对（KVP）抽取或命名实体识别（NER）一直是文档理解与数据抽取领域的活跃研究方向。若干基于 Transformer 的模型如 LayoutLMv2、LayoutLMv3 和 LiLT 已涌现并取得最先进结果。然而，向现有模型添加一个新类别需要 (a) 重新标注整个训练数据集以纳入该新类别，以及 (b) 重新训练模型。这两方面的问题严重拖慢了更新模型的部署。\ 我们提出 \textbf{ProtoNER}：基于原型网络的端到端 KVP 抽取模型，其允许向现有模型添加新类别，同时仅需最少数量的新标注训练样本。我们模型的关键贡献为：(1) 不依赖用于模型初始训练的数据集，从而免去了长期保留原始训练数据集以及极为耗时的数据重新标注之需；(2) 无中间合成数据生成，后者往往引入噪声并导致性能因私有化而退化；(3) 混合损失函数，使模型既能保留关于旧类别的知识，又能学习新增类别。\ 实验结果表明，仅用 30 个样本微调的 ProtoNER 能为新添类别取得与用 2600 个样本微调的常规模型相似的结果。
引用
@article{arxiv.2310.02372,
title = {ProtoNER: Few shot Incremental Learning for Named Entity Recognition using Prototypical Networks},
author = {Ritesh Kumar and Saurabh Goyal and Ashish Verma and Vatche Isahagian},
journal= {arXiv preprint arXiv:2310.02372},
year = {2023}
}