基于能力课程学习的多语言机器翻译
计算与语言
2021-09-10 v1
摘要
当前，多语言机器翻译因能为低资源语言（LRL）带来更好性能并节省更多空间而受到越来越多的关注。然而，现有多语言机器翻译模型面临一个严峻挑战：不平衡性。因此，多语言翻译模型中不同语言的翻译性能差异很大。我们认为这种不平衡问题源于不同语言具有不同的学习能力。因此，我们专注于平衡不同语言的学习能力，并提出了基于能力课程学习的多语言机器翻译方法，命名为CCL-M。具体而言，我们首先定义两种能力来帮助调度高资源语言（HRL）和低资源语言：1）自评能力，评估语言自身的学习程度；2）HRL评估能力，根据HRL的自评能力评估某个LRL是否准备好被学习。基于上述能力，我们利用所提出的CCL-M算法以课程学习的方式逐步将新语言加入训练集。此外，我们提出了一种新颖的能力感知动态平衡采样策略，以在多语言训练中更好地选择训练样本。实验结果表明，在TED演讲数据集上，与先前最先进的方法相比，我们的方法取得了稳定且显著的性能提升。
引用
@article{arxiv.2109.04002,
title = {Competence-based Curriculum Learning for Multilingual Machine Translation},
author = {Mingliang Zhang and Fandong Meng and Yunhai Tong and Jie Zhou},
journal= {arXiv preprint arXiv:2109.04002},
year = {2021}
}
备注
Accepted by Findings of EMNLP 2021. We release the codes at https://github.com/zml24/ccl-m