分词影响多语言语言建模：评估跨语言词汇分配与重叠
计算与语言
2023-05-30 v1
摘要
多语言语言模型近来作为一种在单一模型中表示多种语言的有前景方案而受到关注。在本文中，我们提出新的标准来评估在子词分词器中观察到的词汇表示质量与词汇重叠。我们的发现表明，跨语言词汇的重叠实际上可能对某些下游任务（词性标注、依存树标注）有害。相比之下，NER 与句子级任务（跨语言检索、自然语言推理）受益于共享词汇。我们还观察到，多语言词汇中特定语言词元的覆盖率显著影响词级任务。我们的研究增进了对分词器在多语言语言模型中作用的理解，并为未来的模型开发者在承担昂贵的模型预训练之前为其特定应用选择最合适的分词器提供了指导。
引用
@article{arxiv.2305.17179,
title = {Tokenization Impacts Multilingual Language Modeling: Assessing Vocabulary Allocation and Overlap Across Languages},
author = {Tomasz Limisiewicz and Jiří Balhar and David Mareček},
journal= {arXiv preprint arXiv:2305.17179},
year = {2023}
}
备注
in ACL Findings 2023