利用跨语言专家语言模型打破多语言诅咒
计算与语言
2024-10-10 v2
摘要
尽管多语言模型在非英语 NLP 中很受欢迎，但由于语言之间对模型参数的竞争，它们的表现往往不如单语言模型。我们提出了跨语言专家语言模型（X-ELM），通过在多语言语料库的子集上独立训练语言模型来缓解这种竞争。这一过程使 X-ELM 专精于不同的语言，同时仍能作为有效的多语言集成。我们的实验表明，在给定相同计算预算的情况下，X-ELM 在所有考虑的语言中均优于联合训练的多语言模型，并且这些增益可迁移至下游任务。除了性能提升之外，X-ELM 还提供了额外的好处：可以迭代添加新专家，使 X-ELM 适应新语言而不会发生灾难性遗忘。此外，训练是异步的，降低了多语言训练的硬件要求，并使多语言建模大众化。
引用
@article{arxiv.2401.10440,
title = {Breaking the Curse of Multilinguality with Cross-lingual Expert Language Models},
author = {Terra Blevins and Tomasz Limisiewicz and Suchin Gururangan and Margaret Li and Hila Gonen and Noah A. Smith and Luke Zettlemoyer},
journal= {arXiv preprint arXiv:2401.10440},
year = {2024}
}
备注
EMNLP 2024