通过多语言模型的语言解耦精炼低资源无监督翻译
计算与语言
2022-10-04 v3 人工智能
摘要
近期大量关于无监督机器翻译（UMT）的研究表明，低资源且无关语言（如尼泊尔语或僧伽罗语）的合格无监督翻译，只有在模型于大规模多语言环境中训练、将这些低资源语言与高资源语言混合时才有可能实现。然而，尽管高资源语言极大地助力了目标低资源翻译任务的启动，它们之间的语言差异可能阻碍其进一步提升。本工作中，我们提出一种简单的精炼流程，从预训练的多语言 UMT 模型中分离语言，使其仅专注于目标低资源任务。我们的方法在英语到尼泊尔语、僧伽罗语、古吉拉特语、拉脱维亚语、爱沙尼亚语和哈萨克语的全无监督翻译任务上达到了当前最优（state of the art），BLEU 分数分别提升 3.5、3.5、3.3、4.1、4.2 和 3.3。我们的代码库位于 https://github.com/nxphi47/refine_unsup_multilingual_mt
引用
@article{arxiv.2205.15544,
title = {Refining Low-Resource Unsupervised Translation by Language Disentanglement of Multilingual Model},
author = {Xuan-Phi Nguyen and Shafiq Joty and Wu Kui and Ai Ti Aw},
journal= {arXiv preprint arXiv:2205.15544},
year = {2022}
}
备注
Published in NeurIPS 2022