面向低资源语言的命名实体识别深度学习Transformer架构：当前最优结果
计算与语言
2022-10-04 v2 人工智能
摘要
本文报道了针对十种南非低资源语言的命名实体识别（NER）对深度学习（DL）Transformer架构模型的评估。此外，将这些DL Transformer模型与其他神经网络和机器学习（ML）NER模型进行了比较。研究结果表明，在每种语言应用离散微调参数时，Transformer模型显著提升了性能。进而，在经过微调的Transformer模型在低资源南非语言上的NER任务中优于其他神经网络和机器学习模型。例如，Transformer模型在十种南非语言中的六种上获得了最高的F值，并且其平均F值最高，超越了条件随机场机器学习模型。实际意义在于以更少的精力和资源成本开发高性能NER能力，并可能改进机器翻译（MT）等下游NLP任务。因此，将DL Transformer架构模型应用于低资源南非语言的NLP NER序列标注任务是可行的。进一步的研究可以评估更近期的Transformer架构模型在其他自然语言处理任务和应用上的表现，如短语分块、MT和词性标注。
引用
@article{arxiv.2111.00830,
title = {Deep Learning Transformer Architecture for Named Entity Recognition on Low Resourced Languages: State of the art results},
author = {Ridewaan Hanslo},
journal= {arXiv preprint arXiv:2111.00830},
year = {2022}
}
备注
8 pages, 6 tables, and 3 figures