基于深度学习的外壳名词自动检测方法及在 WikiText-2 上的评估
计算与语言
2022-08-26 v1 机器学习
摘要
在认知语言学等一些领域，研究者仍在使用基于人工规则与模式的传统技术。由于外壳名词的定义颇为主观且存在诸多例外，在深度学习技术尚不成熟之时，这项耗时的工作过去只能手工完成。随着网络化语言数量的增加，这些规则正变得愈发无用。然而，现在有了更好的替代方案。随着深度学习的发展，预训练语言模型已为自然语言处理提供了良好的技术基础。基于深度学习方法的自动化流程更符合现代需求。本文跨国合作，提出两种用于外壳名词自动检测的神经网络模型，并在 WikiText-2 数据集上开展实验。所提方法不仅使整个流程实现自动化，即便在完全未见的文章上精度也达到 94%，可与人类标注者相媲美。这表明模型的性能与泛化能力已足以用于研究目的。我们发现了许多非常契合外壳名词定义的新名词。所有发现的外壳名词以及预训练模型与代码均发布于 GitHub。
引用
@article{arxiv.2208.11867,
title = {Deep Learning-based approaches for automatic detection of shell nouns and evaluation on WikiText-2},
author = {Chengdong Yao and Cuihua Wang},
journal= {arXiv preprint arXiv:2208.11867},
year = {2022}
}
备注
7 pages, 2 figures, 8 tables. All discovered shell nouns as well as pre-trained models and code are available on https://github.com/ycd2016/shellnouns