FinEst BERT与CroSloEngual BERT：多语言模型中少即是多
计算与语言
2022-06-01 v1
摘要
大型预训练掩码语言模型已成为许多自然语言处理（NLP）问题的最先进解决方案。然而，研究主要集中在英语上。尽管存在大规模多语言模型，但研究表明单语模型能产生更好的结果。我们训练了两个三语BERT类模型，一个用于芬兰语、爱沙尼亚语和英语，另一个用于克罗地亚语、斯洛文尼亚语和英语。我们使用多语言BERT和XLM-R作为基线，在命名实体识别（NER）、词性标注（POS-tagging）和依存句法分析（dependency parsing）等几个下游任务上评估了它们的性能。新创建的FinEst BERT和CroSloEngual BERT在大多数单语和跨语言场景下，所有任务的结果都有所提升。
引用
@article{arxiv.2006.07890,
title = {FinEst BERT and CroSloEngual BERT: less is more in multilingual models},
author = {Matej Ulčar and Marko Robnik-Šikonja},
journal= {arXiv preprint arXiv:2006.07890},
year = {2022}
}
备注
10 pages, accepted at TSD 2020 conference