音译有助于多语言语言建模吗？
计算与语言
2023-08-01 v3
摘要
文字系统的多样性通过降低密切相关语言之间的词汇重叠，给多语言语言模型（MLLM）带来了挑战。因此，将使用不同书写文字的密切相关语言音译到同一文字，可能提升 MLLM 的下游任务表现。我们在该背景下实证测量了音译对 MLLM 的影响。我们特别关注拥有世界上最高文字多样性的印度语言，并在 IndicGLUE 基准上评估我们的模型。我们执行 Mann-Whitney U 检验以严格验证音译效应是否显著。我们发现音译有益于低资源语言，且不会对相对高资源的语言产生负面影响。我们还利用 FLORES-101 数据集上的平行句，通过中心化核对齐测量模型的跨语言表征相似性。我们发现，对于跨不同语言的平行句，基于音译的模型学习到的句子表征更为相似。
引用
@article{arxiv.2201.12501,
title = {Does Transliteration Help Multilingual Language Modeling?},
author = {Ibraheem Muhammad Moosa and Mahmud Elahi Akhter and Ashfia Binte Habib},
journal= {arXiv preprint arXiv:2201.12501},
year = {2023}
}
备注
In Findings of the Association for Computational Linguistics: EACL 2023