重新思考神经模型的泛化能力：以命名实体识别为例
计算与语言
2020-01-14 v1
摘要
尽管基于神经网络的模型在大量 NLP 任务上取得了令人印象深刻的性能，但不同模型的泛化行为仍鲜为人知：这种优异性能是否意味着完美的泛化模型，还是仍存在某些局限？本文以 NER 任务为试验台，从不同视角分析现有模型的泛化行为，并通过我们提出的度量刻画其泛化能力差异，从而指导我们更好地设计模型与训练方法。结合深入分析的实验从性能崩溃分析、标注错误、数据集偏差和类别关系方面诊断了现有神经 NER 模型的瓶颈，并给出改进方向。我们已在项目页 http://pfliu.com/InterpretNER/ 发布了数据集（ReCoNLL、PLONER）以供未来研究。作为本文的副产品，我们开源了一个项目，涵盖近期 NER 论文的全面综述并将其按不同研究主题分类：https://github.com/pfliu-nlp/Named-Entity-Recognition-NER-Papers。
引用
@article{arxiv.2001.03844,
title = {Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study},
author = {Jinlan Fu and Pengfei Liu and Qi Zhang and Xuanjing Huang},
journal= {arXiv preprint arXiv:2001.03844},
year = {2020}
}
备注
Accepted by AAAI 2020