上下文嵌入在低资源语言上的评测
计算与语言
2021-07-23 v1
摘要
当前深度神经网络在自然语言处理中的主导地位建立在 ELMo、BERT 及 BERT 衍生模型等上下文嵌入之上。现有工作大多聚焦于英语；相比之下，我们在此首次呈现使用九种语言中的 14 项任务对两个 ELMo 以及若干单语和多语 BERT 模型的多语言实证比较。在单语设定下，我们的分析表明单语 BERT 模型总体占优，少数例外如依存解析任务，其中它们无法与在大型语料上训练的 ELMo 模型竞争。在跨语言设定下，仅在少数语言上训练的 BERT 模型大多表现最佳，紧随其后的是大规模多语 BERT 模型。
引用
@article{arxiv.2107.10614,
title = {Evaluation of contextual embeddings on less-resourced languages},
author = {Matej Ulčar and Aleš Žagar and Carlos S. Armendariz and Andraž Repar and Senja Pollak and Matthew Purver and Marko Robnik-Šikonja},
journal= {arXiv preprint arXiv:2107.10614},
year = {2021}
}
备注
45 pages