低资源神经机器翻译:五种非洲语言的基准评测
计算与语言
2020-04-01 v1
摘要
神经机器翻译(NMT)近期的进展显示了其在低资源语言(LRL)翻译任务上的改进。本工作中,我们对英语与五种非洲低资源语言对(斯瓦希里语、阿姆哈拉语、提格里尼亚语、奥罗莫语、索马里语 [SATOS])之间的 NMT 进行了基准评测。我们收集了 SATOS 语言上的可用资源,以评估 LRL 的 NMT 现状。我们的评测比较了基线单语言对 NMT 模型与半监督学习、迁移学习及多语言建模,显示在英-低资源语言与低资源语言-英两个方向上均有显著性能提升。就平均 BLEU 分数而言,多语言方法在十个翻译方向中的六个上展现出最大增益,高达 +5 分。为展示各模型的泛化能力,我们还报告了在多领域测试集上的结果。我们发布了标准化实验数据与测试集,以供未来工作应对低资源环境(尤其是 SATOS 语言)中 NMT 的挑战。
引用
@article{arxiv.2003.14402,
title = {Low Resource Neural Machine Translation: A Benchmark for Five African Languages},
author = {Surafel M. Lakew and Matteo Negri and Marco Turchi},
journal= {arXiv preprint arXiv:2003.14402},
year = {2020}
}
备注
Accepted for AfricaNLP workshop at ICLR 2020