评估大规模多语言神经机器翻译的跨语言有效性
计算与语言
2019-11-13 v1
摘要
最近提出的大规模多语言神经机器翻译(NMT)系统已被证明能够在单一模型内将100多种语言与英语互译。其在低资源语言上改进的翻译性能暗示了其对下游任务的潜在跨语言迁移能力。在本文中，我们评估了来自大规模多语言NMT模型编码器的表示在覆盖超过50种语言的多样化集合的5个下游分类和序列标注任务上的跨语言有效性。我们在不同的跨语言迁移学习场景下与强基线多语言BERT(mBERT)进行比较，并展示了在这5个任务中的4个上零样本迁移的增益。
引用
@article{arxiv.1909.00437,
title = {Evaluating the Cross-Lingual Effectiveness of Massively Multilingual Neural Machine Translation},
author = {Aditya Siddhant and Melvin Johnson and Henry Tsai and Naveen Arivazhagan and Jason Riesa and Ankur Bapna and Orhan Firat and Karthik Raman},
journal= {arXiv preprint arXiv:1909.00437},
year = {2019}
}