少样本命名实体识别中预训练模型与原型神经网络的一致性调和
计算与语言
2022-11-08 v1
摘要
将大规模预训练模型与原型神经网络相结合是少样本命名实体识别中的一种事实标准范式。遗憾的是，现有方法并未意识到这样一个事实：来自预训练模型的嵌入包含大量关于词频的信息，这会使原型神经网络偏向于学习词实体而非命名实体，从而制约了两个模型的协同作用。为此，我们提出了一种一行代码实现的归一化方法，在经验与理论依据下调和这种不匹配。基于九个基准数据集的实验表明，我们的方法优于对比模型，并与最先进（SOTA）方法相当。除模型增强外，我们的工作还为解决少样本命名实体识别或依赖预训练模型、原型神经网络的其他任务中的一般性问题提供了分析视角。
引用
@article{arxiv.2211.03270,
title = {Reconciliation of Pre-trained Models and Prototypical Neural Networks in Few-shot Named Entity Recognition},
author = {Youcheng Huang and Wenqiang Lei and Jie Fu and Jiancheng Lv},
journal= {arXiv preprint arXiv:2211.03270},
year = {2022}
}
备注
Findings of EMNLP 2022