评估多语言 BERT 在爱沙尼亚语上的表现
计算与语言
2021-01-11 v2
摘要
近来，诸如 BERT 等大型预训练语言模型已在许多自然语言处理任务中达到最先进的性能，但对于包括爱沙尼亚语在内的许多语言，BERT 模型尚不可用。然而，存在若干多语言 BERT 模型可同时处理多种语言，并且也在爱沙尼亚语数据上进行了训练。本文中，我们在多项 NLP 任务上评估了四个多语言模型——多语言 BERT、多语言蒸馏 BERT、XLM 和 XLM-RoBERTa——包括词性标注与形态标注、命名实体识别（NER）和文本分类。我们的目标是建立这些多语言 BERT 模型与针对这些任务的现有基线神经模型之间的比较。我们的结果表明，多语言 BERT 模型能在不同的爱沙尼亚语 NLP 任务上很好地泛化，在词性标注、形态标注和文本分类上优于所有基线模型，并在 NER 上达到与最佳基线相当的水平，其中 XLM-RoBERTa 相较于其他多语言模型取得了最高结果。
引用
@article{arxiv.2010.00454,
title = {Evaluating Multilingual BERT for Estonian},
author = {Claudia Kittask and Kirill Milintsevich and Kairit Sirts},
journal= {arXiv preprint arXiv:2010.00454},
year = {2021}
}
备注
V1: Baltic HLT 2020 V2: Changed NER baseline results