少样本命名实体识别：一项综合研究
计算与语言
2021-01-01 v1 信息检索
机器学习
摘要
本文提出一项综合研究，旨在当仅有少量领域内标注数据可用时高效构建命名实体识别（NER）系统。基于近期的 Transformer 自监督预训练语言模型（PLMs），我们研究了三种正交方案以提升模型在少样本设定下的泛化能力：（1）元学习为不同实体类型构建原型，（2）在含噪网络数据上监督预训练以提取实体相关通用表示，以及（3）自训练以利用未标注领域内数据。我们也考虑了这些方案的不同组合。我们在 10 个公开 NER 数据集上以不同比例的标注数据进行了广泛的实证比较，为未来研究提供了有益的见解。我们的实验表明：（i）在少样本学习设定下，所提出的 NER 方案显著改善或优于常用基线，即基于 PLM 的、在领域标签上微调的线性分类器；（ii）相较于现有方法，我们在少样本和无训练设定下均创造了新的最优结果。我们将发布代码和预训练模型以支持可复现研究。
引用
@article{arxiv.2012.14978,
title = {Few-Shot Named Entity Recognition: A Comprehensive Study},
author = {Jiaxin Huang and Chunyuan Li and Krishan Subudhi and Damien Jose and Shobana Balakrishnan and Weizhu Chen and Baolin Peng and Jianfeng Gao and Jiawei Han},
journal= {arXiv preprint arXiv:2012.14978},
year = {2021}
}