学习用于命名实体识别的上下文学习

真实应用中的命名实体识别受限于实体类型的多样性、新实体类型的涌现以及高质量标注的缺乏。为解决上述问题，本文提出一种基于上下文学习（in-context learning）的NER方法，该方法能有效将上下文NER能力注入预训练语言模型（PLMs）中，并仅使用少量示例实例即可即时识别新型实体。具体而言，我们将PLMs建模为元函数 $\mathcal{ \lambda_ {\text{instruction, demonstrations, text}}. M}$，通过将新指令与示例应用于PLMs，可隐式构建一个新的实体抽取器，即 $\mathcal{ (\lambda . M) }$(instruction, demonstrations) $\to$ $\mathcal{F}$，其中 $\mathcal{F}$ 将是一个新的实体抽取器，即 $\mathcal{F}$: text $\to$ entities。为将上述上下文NER能力注入PLMs，我们提出一种元函数预训练算法，其通过比较（指令，示例）初始化的抽取器与代理黄金抽取器来预训练PLMs。在4个少样本NER数据集上的实验结果表明，我们的方法能有效将上下文NER能力注入PLMs，并显著优于PLMs+微调的对应方法。