探索多语言建模的迷宫
计算与语言
2024-02-14 v2
摘要
多语言语言模型近年来受到显著关注，使得能够满足多样化语言环境的应用得以开发。在本文中，我们对三种流行的多语言语言模型：mBERT、XLM-R 和 GPT-3 进行了全面评估。我们在多种语言上评估它们的性能，重点理解在文本分类与文本生成两项不同任务下，资源可用性（通用及模型特定）、语系、文字类型和词序对模型性能的影响。我们的发现表明，尽管语言特定预训练数据量对模型性能起关键作用，我们也识别出其他重要因素，如通用资源可用性、语系和文字类型。我们希望我们的研究有助于加深对多语言语言模型的理解，以提升其在不同语言和语言环境中的性能。
引用
@article{arxiv.2310.05404,
title = {Exploring the Maze of Multilingual Modeling},
author = {Sina Bagheri Nezhad and Ameeta Agrawal},
journal= {arXiv preprint arXiv:2310.05404},
year = {2024}
}