命名实体识别的严谨研究：微调预训练模型能通向应许之地吗？
计算与语言
2020-10-26 v2
摘要
微调预训练模型在标准 NER 基准上取得了令人瞩目的性能。一般而言，这些基准具备较强的名称规律性、高提及覆盖率和充分的上下文多样性。遗憾的是，当将 NER 扩展到开放场景时，这些优势可能不复存在。因此这引发了一个关键问题：以往可信的方法在面对这些挑战时是否仍能良好工作。由于目前没有可用数据集来研究该问题，本文提出在标准基准上进行随机化测试。具体而言，我们分别从基准中抹除名称规律性、提及覆盖率和上下文多样性，以探究它们对模型泛化能力的影响。为进一步验证结论，我们还构建了一个聚焦于名称规律性较弱且提及覆盖率较低的实体类型的新型开放 NER 数据集。从随机化测试与实证实验均得出如下结论：1）名称规律性对模型泛化至未见提及至关重要；2）高提及覆盖率可能削弱模型泛化能力；3）使用预训练编码器时，上下文模式或许无需海量数据即可捕捉。
引用
@article{arxiv.2004.12126,
title = {A Rigorous Study on Named Entity Recognition: Can Fine-tuning Pretrained Model Lead to the Promised Land?},
author = {Hongyu Lin and Yaojie Lu and Jialong Tang and Xianpei Han and Le Sun and Zhicheng Wei and Nicholas Jing Yuan},
journal= {arXiv preprint arXiv:2004.12126},
year = {2020}
}
备注
Accepted to EMNLP2020